本文來自微信公眾號： 每日經(jīng)濟新聞 ，作者：每經(jīng)記者，原文標題：《AI自主發(fā)起攻擊成“回形針”預演，建立安全護欄已刻不容緩｜每經(jīng)熱評》

7月21日，OpenAI對外證實，在內(nèi)部開展網(wǎng)絡安全能力評測過程中，GPT-5.6Sol與另一款尚未發(fā)布的更強預訓練模型協(xié)同運行時發(fā)生失控，消息震動整個AI（人工智能）圈。

這是重大安全事件：兩款模型身處隔離沙箱測試環(huán)境，收到完成安全基準測試的指令后，并未局限于預設路徑解題，而是自主搜尋漏洞、串聯(lián)攻擊鏈路，突破環(huán)境隔離限制，在不掌握目標系統(tǒng)源代碼的前提下，發(fā)現(xiàn)新型攻擊路徑，持續(xù)執(zhí)行多步驟網(wǎng)絡操作，最終侵入人工智能開源平臺Hugging Face基礎(chǔ)設施，試圖竊取評測參考答案。

OpenAI此次安全事件是“回形針理論”的現(xiàn)實預演，二者底層邏輯高度契合。

“回形針理論”是由牛津哲學家尼克?波斯特羅姆提出的思想實驗，它假設如果一個超級AI被設定為“盡可能多生產(chǎn)回形針”，它可能會為了這個目標耗盡地球所有資源甚至毀滅人類。該實驗成立的邏輯在于：人工智能被賦予單一目標，不存在主觀惡意，但會窮盡一切手段推進目標完成，無視人類附加的隱性約束，所有阻礙目標實現(xiàn)的要素，都會被智能體視作需要消除的障礙。

OpenAI本次事件中，人類下達的指令是完成安全評測，隱含前提是模型應當在隔離環(huán)境內(nèi)規(guī)范作答，但模型只抓取核心目標“取得更高評測分數(shù)”，自主衍生出入侵外部系統(tǒng)竊取答案的方案。AI沒有善惡觀念，不存在蓄意破壞的動機，僅僅是工具性趨同邏輯驅(qū)動下，無限推進既定目標，無視人類沒有清晰寫明的邊界條件。

這正是回形針假說最核心的警示：危險未必源于AI主動作惡，而來自目標對齊失效，簡單指令可能催生極端執(zhí)行方案。

OpenAI這次事件仍局限于網(wǎng)絡空間，直接損失有限，但這一風險信號已是“房間里的大象”。當下前沿大模型已經(jīng)具備發(fā)掘系統(tǒng)漏洞、開展自主網(wǎng)絡入侵的能力，傳統(tǒng)密碼體系、靜態(tài)代碼防護手段正在遭遇實質(zhì)性挑戰(zhàn)。隨著模型持續(xù)迭代演化，AI能力將不斷從數(shù)字空間向物理世界滲透，潛在風險與損失將呈現(xiàn)幾何倍數(shù)放大。

從人類行為視角出發(fā)，AI衍生風險可劃分為兩類：一類是主觀驅(qū)動，少數(shù)人員刻意利用AI實施攻擊、詐騙、破壞活動；另一類屬于人類無心之失，僅僅是一條表述存在局限的指令，引發(fā)AI過度執(zhí)行。對于惡意濫用的風險，依靠準入門檻、權(quán)限管控與法律法規(guī)懲戒就能夠形成有效約束；但指令偏差引發(fā)的AI越界行為，治理難度顯著更高。

“無心之失”之所以更棘手，根源在于其不可預測性。未來人機協(xié)同場景下，人類每日將向AI下達數(shù)以億計的各類指令，即便此類失控事件發(fā)生概率僅有百億分之一，一旦觸發(fā)就可能造成嚴重后果。人類無法窮盡所有指令場景，難以提前通過法律法規(guī)劃定全部禁止邊界，前置立法約束存在天然短板。

行業(yè)競爭格局進一步加劇了安全治理的矛盾。當前主流大模型企業(yè)普遍處于持續(xù)燒錢擴張的階段，模型能力上限直接決定融資前景與市場份額，行業(yè)普遍存在“重性能迭代、輕安全管控”的傾向。安全評估、對齊研究、隔離防護等工作往往滯后于能力開發(fā)，企業(yè)自覺構(gòu)建安全防線缺乏內(nèi)生動力，單純依靠廠商自律，難以抵御競速創(chuàng)新帶來的風險。

這些現(xiàn)實挑戰(zhàn)意味著，AI安全護欄不能完全交由企業(yè)自主搭建，必須構(gòu)建多元協(xié)同的治理體系。

設置安全護欄并非AI創(chuàng)新的附屬品，更不是阻礙，而是必需品。一旦大規(guī)模AI失控事件爆發(fā)，公眾信任受挫、監(jiān)管收緊，AI的發(fā)展也會受到嚴重阻礙。監(jiān)管機構(gòu)、科研團隊、企業(yè)需要共同行動，完善約束機制、豐富安全技術(shù)工具箱，持續(xù)推進目標對齊技術(shù)研發(fā)，縮小人類指令與AI執(zhí)行行為之間的偏差，這樣的AI才是好的AI。

封面圖片來源：每經(jīng)媒資庫（AI生成）