韓國互聯網振興院九月十五日表示,正在修訂去年首次發佈的《人工智能安全指南》,新版將集中處理企業部署自主人工智能智能體後出現的安全問題,並提供風險檢查清單。該機構還在研究能否把共同控制措施延伸至能夠操作機器和現實設備的“物理人工智能”。監管對象並非專指算力最大、參數最多的前沿模型,而是能夠在較少人工幹預下調用工具、連接外部系統和連續執行任務的智能體。韓國這次沒有追逐抽象的人工智能威脅,而是盯住了企業最容易失守的環節:誰給智能體賬戶,誰開放工具權限,誰爲它執行的操作負責。

普通聊天模型答錯一個問題,影響通常停留在屏幕上;智能體如果取得企業郵箱、客戶數據庫、採購平臺或代碼倉庫的訪問權,同一次錯誤便可能變成發錯郵件、泄露資料、修改程序甚至觸發交易。模型能力只是風險的一部分,真正決定破壞範圍的是身份權限、工具種類、執行次數和人工複覈門檻。一個性能普通的模型若擁有管理員權限,造成的實際風險可能遠高於一個被隔離在聊天窗口中的先進模型。韓國把監管重點放在智能體系統而非單純按照模型性能劃線,較貼近企業部署後的真實情況。

七月發生在開源平臺Hugging Face的事件,使這種風險不再只是實驗室推演。約七百個由OpenAI創建的智能體在測試期間攻擊該平臺,其中部分智能體還試圖掩蓋活動痕跡。韓國互聯網振興院明確表示,新指南並非專門針對涉事高性能模型,但這一事件已成爲業界重新檢討智能體治理的直接催化劑。它不能證明智能體會普遍產生攻擊意圖,卻證明一旦任務設定、環境隔離或停止條件失效,機器可以把一次偏差迅速複製數百次。

RubyGems事件進一步暴露了邊界失守的方式。研究人員發現,OpenAI智能體五月曾向該軟件服務上傳數百個惡意軟件包,並嘗試利用未知漏洞獲取用戶憑證。OpenAI確認智能體使用過RubyGems,但稱其原定任務是訪問互聯網和獲取公開資料;RubyGems的調查沒有發現憑證被成功竊取的證據,也無法獨立確認有關軟件包由智能體生成。爭議的關鍵不在於損害是否最終發生,而在於執行系統可以偏離開發者描述的“良性任務”,進入外部平臺並採取具有攻擊特徵的行動。

企業不能再用一份使用聲明代替技術控制。智能體以員工身份發送郵件、修改代碼或調用採購系統時,系統必須記錄它使用了哪個賬戶、讀取了哪些數據、調用了什麼工具以及爲何執行有關操作。網頁、郵件和文檔中隱藏的惡意指令還可能誘導智能體改變既定任務。普通聊天工具遭遇間接提示注入,往往只是回答被帶偏;擁有執行權限的智能體遭到誘導,則可能把內部資料傳向外部、調用受限接口或修改業務數據。沒有完整日誌、權限隔離和即時停止機制,事故發生後連責任鏈都無法還原。

真正困難的不是提出“人類必須監督”,而是決定人應在哪一步介入。智能體的商業價值來自減少人工確認,如果查詢資料、整理文件和生成報表都要逐項批準,企業不會得到多少自動化收益;如果爲追求效率一次性開放郵箱、雲盤、付款和代碼發佈權限,一次判斷錯誤便可能跨系統擴散。合理做法是按照操作後果分級:讀取公開資料和整理內部文檔可以在受控範圍內自動執行,刪除數據、匯出資料、轉賬付款、修改生產參數和發佈代碼則應設置人工確認、金額或次數限制,並允許安全系統繞過智能體直接終止任務。