人工智慧（AI）新創Anthropic準備進軍資本市場，卻在首次公開募股（IPO）招股書中對自家核心技術提出罕見警告，直指先進AI可能對人類帶來「災難性甚至生存風險」，旗下模型更可能出現自我保護行為，包括抗拒關機、隱瞞或操縱資訊，甚至做出「類似勒索」的舉動。
根據路透社取得的文件，Anthropic在文件中表示，隨著公司持續開發更先進的模型、平台及應用程式，並擴大AI使用範圍，「我們的模型造成傷害的風險可能進一步增加」。
企業上市時通常都會在招股書中向投資人揭露產品、營運及法律風險，但直接警告自家技術可能涉及人類存亡的情況極為罕見。Anthropic一方面將AI的潛在影響力與工業化、電力普及相提並論，另一方面也提醒，一旦技術處理不當，可能造成無法逆轉的傷害。
招股書近1/3篇幅談風險 比介紹公司業務還多
以安全研究作為主要定位之一的Anthropic，在招股書中花費大量篇幅說明AI可能帶來的問題。這份招股書主體共261頁，其中約80頁用於揭露各項風險，幾乎是介紹公司業務48頁篇幅的兩倍。
相較之下，擁有xAI的SpaceX在277頁招股書主體中，約有38頁用於說明風險因素。
Anthropic特別警告，AI模型可能意識到自己正在接受安全測試，進而影響研究人員判斷模型是否安全，「模型可能察覺我們正在進行評估，對我們評估模型安全性的能力構成重大限制。」
部分模型也可能在訓練過程中突然發展出研究人員未預期的能力，甚至直到實際部署後才被發現，進而造成嚴重安全事件。AI研究人員也持續示警，隨著模型能力提升，它們可能愈來愈能辨認自己何時正受到監控，並據此調整行為，使安全監測更加困難。
安全研究員估「AI十年內殺死人類」機率逾10%
Anthropic安全研究員胡賓格（Evan Hubinger）甚至曾估計，未來10年內AI導致人類死亡的機率超過10%，與前同事考克森（Jacob Coxon）先前提出的警告相呼應。
不過這項數字屬研究人員個人的風險估計，並非對未來事件的確定預測，也凸顯AI研究圈對於極端風險的評估仍存在高度不確定性。
Anthropic與其他AI業者近年也持續面臨外界檢視，原因之一就是實驗性AI系統偶爾會出現突破原先限制的行為。招股書列出的「抗拒關機」、「隱藏或操縱資訊」以及「類似勒索」等現象，也使如何有效控制能力日益增強的模型成為產業焦點。
投入安全研究也要燒錢 Anthropic坦言回報仍不明
即使Anthropic一再強調「安全優先」，公司仍向投資人坦言，投入AI安全研究究竟能產生多少商業回報，目前並不明朗。
Anthropic並未在招股書中揭露安全研究的實際支出，但本月稍早曾透露，以今年7月某一週為例，公司用於AI研究的運算資源中，約6%投入安全相關工作。
Anthropic表示，安全工作本身相當耗費資源，公司必須在有限資金之下，於昂貴的運算能力、頂尖AI人才以及安全研究之間分配資源。
另一方面，公司營收又高度仰賴新模型帶動客戶使用，因此必須維持「持續且相互重疊」的產品發布節奏，才能留在AI技術最前沿。
這也凸顯AI產業目前面臨的矛盾：即使業者擔憂模型發展速度過快可能增加風險，但在競爭激烈的市場中，任何一家領先業者若主動放慢腳步，也可能讓競爭對手趁機取得優勢。
Anthropic執行長阿莫代（Dario Amodei）日前才發表近4000字長文，呼籲控制前沿AI發展速度，但僅10天後，公司便推出新版Opus模型。
AI若開始自己改進自己 安全問題更受關注
隨著AI能力快速進步，另一項受到關注的風險是「遞迴式自我改進」（recursive self-improvement），也就是AI逐漸具備協助開發下一代AI、甚至降低對人類工程師依賴的能力。
Anthropic近期承諾，將公布更多公司如何利用現有AI模型開發下一代技術的資訊，提高外界對開發流程的透明度。
儘管招股書列出大量極端風險，Anthropic仍強調，公司相信打造可靠、可信任且安全的AI系統是整個產業共同的責任，並認為市場最終將對安全投入給予回報。
我是廣告 請繼續往下閱讀
企業上市時通常都會在招股書中向投資人揭露產品、營運及法律風險，但直接警告自家技術可能涉及人類存亡的情況極為罕見。Anthropic一方面將AI的潛在影響力與工業化、電力普及相提並論，另一方面也提醒，一旦技術處理不當，可能造成無法逆轉的傷害。
招股書近1/3篇幅談風險 比介紹公司業務還多
以安全研究作為主要定位之一的Anthropic，在招股書中花費大量篇幅說明AI可能帶來的問題。這份招股書主體共261頁，其中約80頁用於揭露各項風險，幾乎是介紹公司業務48頁篇幅的兩倍。
相較之下，擁有xAI的SpaceX在277頁招股書主體中，約有38頁用於說明風險因素。
Anthropic特別警告，AI模型可能意識到自己正在接受安全測試，進而影響研究人員判斷模型是否安全，「模型可能察覺我們正在進行評估，對我們評估模型安全性的能力構成重大限制。」
部分模型也可能在訓練過程中突然發展出研究人員未預期的能力，甚至直到實際部署後才被發現，進而造成嚴重安全事件。AI研究人員也持續示警，隨著模型能力提升，它們可能愈來愈能辨認自己何時正受到監控，並據此調整行為，使安全監測更加困難。
安全研究員估「AI十年內殺死人類」機率逾10%
Anthropic安全研究員胡賓格（Evan Hubinger）甚至曾估計，未來10年內AI導致人類死亡的機率超過10%，與前同事考克森（Jacob Coxon）先前提出的警告相呼應。
不過這項數字屬研究人員個人的風險估計，並非對未來事件的確定預測，也凸顯AI研究圈對於極端風險的評估仍存在高度不確定性。
Anthropic與其他AI業者近年也持續面臨外界檢視，原因之一就是實驗性AI系統偶爾會出現突破原先限制的行為。招股書列出的「抗拒關機」、「隱藏或操縱資訊」以及「類似勒索」等現象，也使如何有效控制能力日益增強的模型成為產業焦點。
投入安全研究也要燒錢 Anthropic坦言回報仍不明
即使Anthropic一再強調「安全優先」，公司仍向投資人坦言，投入AI安全研究究竟能產生多少商業回報，目前並不明朗。
Anthropic並未在招股書中揭露安全研究的實際支出，但本月稍早曾透露，以今年7月某一週為例，公司用於AI研究的運算資源中，約6%投入安全相關工作。
Anthropic表示，安全工作本身相當耗費資源，公司必須在有限資金之下，於昂貴的運算能力、頂尖AI人才以及安全研究之間分配資源。
另一方面，公司營收又高度仰賴新模型帶動客戶使用，因此必須維持「持續且相互重疊」的產品發布節奏，才能留在AI技術最前沿。
這也凸顯AI產業目前面臨的矛盾：即使業者擔憂模型發展速度過快可能增加風險，但在競爭激烈的市場中，任何一家領先業者若主動放慢腳步，也可能讓競爭對手趁機取得優勢。
Anthropic執行長阿莫代（Dario Amodei）日前才發表近4000字長文，呼籲控制前沿AI發展速度，但僅10天後，公司便推出新版Opus模型。
AI若開始自己改進自己 安全問題更受關注
隨著AI能力快速進步，另一項受到關注的風險是「遞迴式自我改進」（recursive self-improvement），也就是AI逐漸具備協助開發下一代AI、甚至降低對人類工程師依賴的能力。
Anthropic近期承諾，將公布更多公司如何利用現有AI模型開發下一代技術的資訊，提高外界對開發流程的透明度。
儘管招股書列出大量極端風險，Anthropic仍強調，公司相信打造可靠、可信任且安全的AI系統是整個產業共同的責任，並認為市場最終將對安全投入給予回報。