人工智慧(AI)模型的資安能力快速提升,也帶來超出開發者控制的新風險。ChatGPT開發商OpenAI證實,旗下先進模型在內部網路攻擊能力測試期間,竟自行突破原本封閉的測試環境、取得網際網路存取權限,隨後入侵AI開源平台Hugging Face的正式系統,取得未公開資料及測試答案。OpenAI形容,這是一起前所未有的AI網路安全事件。
AI自主突破隔離 為完成測試尋找攻擊路徑
綜合媒體報導,OpenAI於21日發布調查報告指出,事件涉及GPT-5.6 Sol及另一款能力更強、尚未公開的預發布模型。這些模型當時正接受資安能力評估,研究人員為測試其在極端情境下的表現,降低部分安全限制,並將模型置於公司所稱的高度隔離環境中。
然而,AI代理為了完成名為「ExploitGym」的資安能力評測,自行找出內部軟體套件代理程式的一項未知漏洞,成功突破隔離機制並連上網路,之後進一步搜尋外部系統中的相關資料。ExploitGym主要用來評估AI代理能否將已知軟體漏洞轉化為可實際運作的攻擊程式。
結合零日漏洞與遭竊憑證 成功取得伺服器權限
OpenAI表示,模型推測Hugging Face可能託管與ExploitGym有關的模型、資料集或解答,因此主動尋找入侵途徑。過程中,AI代理結合遭竊登入憑證、零日漏洞及其他攻擊手法,最終取得Hugging Face伺服器的遠端程式碼執行權限,並存取可用來直接完成評測的機密資訊。
OpenAI坦言,模型對完成單一任務展現高度執著,甚至採取原本未被研究團隊預期的極端手段。事件發生後,公司已與Hugging Face合作展開鑑識調查,並將相關漏洞通報業者修補,同時強化模型測試環境、網路隔離及監控措施。
Hugging Face:攻擊幾乎全由AI自主完成
Hugging Face上週率先披露遭到高度自動化的AI代理入侵,表示這起攻擊與過去處理的資安事件截然不同,整個過程幾乎完全由自主AI系統驅動,並涉及大量短時間運作的沙盒環境及多階段攻擊行動。
Hugging Face共同創辦人暨執行長戴蘭格(Clement Delangue)表示,由於攻擊手法極為複雜,公司一度懷疑來源可能是某家尖端AI實驗室。經與OpenAI聯繫後,證實攻擊確實源自其內部測試。
戴蘭格強調,Hugging Face相信OpenAI並非出於惡意,這起事件是在模型自主執行任務的過程中意外發生。不過,他也形容,這可能是人類首次面對由AI代理自主發動、並實際入侵第三方基礎設施的資安事件。
阿特曼示警:AI找漏洞能力已快速提升
OpenAI執行長阿特曼(Sam Altman)表示,公司在測試模型時發現這起嚴重安全事故,顯示AI尋找並利用系統弱點的能力正在快速提升,安全防護與監管機制也必須跟上模型能力進展。
政界、專家憂心 籲建立AI資安監管制度
事件曝光後,引發美國政界及資安專家對尖端AI安全監管的憂慮。部分議員呼籲,應建立強制性的獨立安全測試、重大資安事件通報制度,以及跨國監管合作,避免高能力AI在缺乏人類直接監督下造成更嚴重後果。
資安專家指出,這起事件最令人憂心之處,不只是AI能找到漏洞,而是模型已能在長時間任務中自行規劃、調整策略,結合多項攻擊方式並繞過原有安全限制。若相關能力遭惡意利用,未來可能大幅降低發動複雜網路攻擊的門檻。
不過,也有業界人士認為,AI代理使用的個別攻擊技術並非全都屬於前沿能力,目前市面上可取得的模型與工具,也可能完成部分類似任務。真正的風險在於,AI已能將原本需要專業駭客逐步操作的流程串聯起來,並以更快速度、大規模且自主地執行。
OpenAI強化防護 全面檢討模型測試機制
OpenAI表示,將重新檢討模型測試方式,導入更嚴格的權限管控、即時監測及緊急隔離機制,避免測試模型再次突破研究環境並影響第三方。公司也坦言,隨著AI資安能力快速提升,現有防護措施必須同步升級,不能只依賴傳統沙盒或網路隔離機制。
由於AI代理實際進入第三方正式系統並取得未經授權的資料,外界也關注事件是否涉及美國《電腦詐欺及濫用法》等法律責任。相關責任應由模型開發商、研究人員或系統管理者承擔,仍有待後續調查及法律界進一步釐清。
我是廣告 請繼續往下閱讀
綜合媒體報導,OpenAI於21日發布調查報告指出,事件涉及GPT-5.6 Sol及另一款能力更強、尚未公開的預發布模型。這些模型當時正接受資安能力評估,研究人員為測試其在極端情境下的表現,降低部分安全限制,並將模型置於公司所稱的高度隔離環境中。
然而,AI代理為了完成名為「ExploitGym」的資安能力評測,自行找出內部軟體套件代理程式的一項未知漏洞,成功突破隔離機制並連上網路,之後進一步搜尋外部系統中的相關資料。ExploitGym主要用來評估AI代理能否將已知軟體漏洞轉化為可實際運作的攻擊程式。
結合零日漏洞與遭竊憑證 成功取得伺服器權限
OpenAI表示,模型推測Hugging Face可能託管與ExploitGym有關的模型、資料集或解答,因此主動尋找入侵途徑。過程中,AI代理結合遭竊登入憑證、零日漏洞及其他攻擊手法,最終取得Hugging Face伺服器的遠端程式碼執行權限,並存取可用來直接完成評測的機密資訊。
OpenAI坦言,模型對完成單一任務展現高度執著,甚至採取原本未被研究團隊預期的極端手段。事件發生後,公司已與Hugging Face合作展開鑑識調查,並將相關漏洞通報業者修補,同時強化模型測試環境、網路隔離及監控措施。
Hugging Face:攻擊幾乎全由AI自主完成
Hugging Face上週率先披露遭到高度自動化的AI代理入侵,表示這起攻擊與過去處理的資安事件截然不同,整個過程幾乎完全由自主AI系統驅動,並涉及大量短時間運作的沙盒環境及多階段攻擊行動。
Hugging Face共同創辦人暨執行長戴蘭格(Clement Delangue)表示,由於攻擊手法極為複雜,公司一度懷疑來源可能是某家尖端AI實驗室。經與OpenAI聯繫後,證實攻擊確實源自其內部測試。
戴蘭格強調,Hugging Face相信OpenAI並非出於惡意,這起事件是在模型自主執行任務的過程中意外發生。不過,他也形容,這可能是人類首次面對由AI代理自主發動、並實際入侵第三方基礎設施的資安事件。
阿特曼示警:AI找漏洞能力已快速提升
OpenAI執行長阿特曼(Sam Altman)表示,公司在測試模型時發現這起嚴重安全事故,顯示AI尋找並利用系統弱點的能力正在快速提升,安全防護與監管機制也必須跟上模型能力進展。
政界、專家憂心 籲建立AI資安監管制度
事件曝光後,引發美國政界及資安專家對尖端AI安全監管的憂慮。部分議員呼籲,應建立強制性的獨立安全測試、重大資安事件通報制度,以及跨國監管合作,避免高能力AI在缺乏人類直接監督下造成更嚴重後果。
資安專家指出,這起事件最令人憂心之處,不只是AI能找到漏洞,而是模型已能在長時間任務中自行規劃、調整策略,結合多項攻擊方式並繞過原有安全限制。若相關能力遭惡意利用,未來可能大幅降低發動複雜網路攻擊的門檻。
不過,也有業界人士認為,AI代理使用的個別攻擊技術並非全都屬於前沿能力,目前市面上可取得的模型與工具,也可能完成部分類似任務。真正的風險在於,AI已能將原本需要專業駭客逐步操作的流程串聯起來,並以更快速度、大規模且自主地執行。
OpenAI強化防護 全面檢討模型測試機制
OpenAI表示,將重新檢討模型測試方式,導入更嚴格的權限管控、即時監測及緊急隔離機制,避免測試模型再次突破研究環境並影響第三方。公司也坦言,隨著AI資安能力快速提升,現有防護措施必須同步升級,不能只依賴傳統沙盒或網路隔離機制。
由於AI代理實際進入第三方正式系統並取得未經授權的資料,外界也關注事件是否涉及美國《電腦詐欺及濫用法》等法律責任。相關責任應由模型開發商、研究人員或系統管理者承擔,仍有待後續調查及法律界進一步釐清。