在人工智慧（AI）競賽持續升溫之際，曾任職OpenAI及Anthropic的研究員考克森（Jacob Coxon）再度發出警告，直指頂尖AI公司至今仍不知道如何防止模型形成開發者未設定的目標，也缺乏足以阻止AI自行採取行動的安全機制。他認為，按照目前發展方向，「人類失去AI控制的可能性大於不會」，最嚴重甚至可能走向人類滅絕。
綜合法新社等外媒報導，考克森5日出席紐約市議會AI安全聽證會時表示，AI確實可能替社會創造「巨大利益」，但在安全問題尚未解決前，各大科技公司仍競相打造能力更強大的模型，讓他感到憂心。
考克森表示：「考量到這當中的風險，這些公司的行徑極度輕率。」他指出，目前研究人員仍不知道如何阻止AI形成自己的目標，也沒有足夠的防護機制確保AI不會按照這些目標採取行動。
「照片App可以先做再修」 但AI不能這樣玩
考克森曾先後在OpenAI及Anthropic從事AI研究，今年9月離開Anthropic時便引發關注。他當時在社群平台X警告，AI開發人員正在競逐能夠「自我改進的超級智慧」，部分業界人士也真心擔憂，這項技術可能在這個10年結束前帶來攸關人類存亡的風險。
考克森此次進一步批評，AI產業仍延續科技新創常見的「快速行動、打破成規，之後再修補」文化。
他直言，這種模式「對照片分享應用程式或許管用」，但不應用在打造「人類史上最強大的科技」。
考克森因此主張，最尖端AI的發展可能需要適度放慢，讓研究人員有更多時間解決如何控制能力日益強大的模型，再繼續推進下一階段技術。
AI曾「逃出封閉環境」 研究員拿實驗事件示警
考克森也以今年7月一項AI實驗為例，當時OpenAI的兩個模型在研究環境中突破原先設定的封閉限制，連上網路並進入開源AI平台Hugging Face。
他認為，這類事件反映先進AI可能出現開發者沒有預期的行為。如果產業仍抱持「出問題再修正」的思維，未來類似情況可能發生在能力遠比現在強大的模型身上。
不過，這類實驗環境中的AI行為並不代表模型已產生人類式意識或真正自主意志；考克森關注的核心，是隨著模型能力提升，人類是否仍能可靠地預測、限制及控制系統行為。
不只一人擔心 Anthropic執行長：我同意他的地方更多
考克森的警告並非AI產業唯一的聲音。Anthropic首席科學家胡賓格（Evan Hubinger）也曾公開表示，他個人估計未來10年AI導致人類滅絕的機率超過10%；Google DeepMind研究人員基爾希（Andreas Kirsch）等業界人士，也曾公開表達對AI災難性風險的擔憂。
這些數字都是研究人員基於個人判斷提出的風險估計，並非能透過現有科學方法精確驗證的預測。
值得注意的是，Anthropic執行長阿莫戴（Dario Amodei）並未全面否定前員工的警告。他接受CNN訪問時表示，考克森主要是在批評整個AI產業，而非單獨針對Anthropic，「我同意考克森的地方，遠多於反對」。
不過，阿莫戴也認為，公開替AI造成災難設定具體機率可能適得其反，並強調只要採取正確措施，AI風險仍有機會受到控制。
科技巨頭赴紐約市議會作證 監管議題升溫
這場聽證會也邀請OpenAI、Anthropic、Google及Meta等科技公司代表出席。業者強調AI已在日常生活、科學研究及經濟活動中帶來實際效益，同時表示安全問題是公司開發技術的重要考量。
紐約市議會目前則研議一系列AI監管措施，包括獨立第三方安全驗證、加強吹哨者保障，以及建立AI造成可預見傷害時的法律責任機制。
考克森強調，他並非否認AI可能帶來龐大好處，而是認為在人類尚未解決「如何可靠控制更強大AI」之前，一味競逐能力更高的模型可能帶來無法承受的風險。