AI會否危及人類社會近來引發熱烈討論，無論如何，即使AI本身並未失控，人類在使用上仍須小心其帶來的風險。《CNN》引述多名知情人士獨家報導指出，美國與伊朗爆發衝突期間，一艘位於中東海域的中國籍貨輪被判定正在運送核武器計畫的關鍵組件，讓美軍立即展開攔截行動。然而，在動手前一刻才驚覺該份報告竟是「AI幻覺」引發的誤會。一位消息人士直言，這份情報「完全是假的」，但它「幾乎引發了一場戰爭」。若美軍當時對中國船隻採取登艦扣押行動，極可能演變成美中之間的直接武裝衝突。
《CNN》報導指出，隸屬美國太平洋特種作戰司令部（SOCPAC）的一位分析師，當時使用AI聊天機器人查詢一艘行經中東的中國船隻貨物清單情報。AI結合了公開來源情報與政府內部的機密信號情報，最終產出了這份完全錯誤的評估，稱該船上載有「核武器計畫組件」。
分析師不疑有他，隨後又利用AI將評估結果包裝成標準情報報告，並對外發布。美軍隨即展開攔截行動，武裝人員一度準備登船搜查，空軍戰機亦已升空支援。但在動手前的最後一刻，官員對報告進行再次審查，才發現其內容完全是由AI生成且錯誤百出，是典型的「AI幻覺」。
一名熟悉軍方AI系統的前美國高級官員指出，美軍內部使用的AI工具「大多只是套上國防外衣的商業產品」。這類AI產生虛構內容的「AI幻覺」現象，在情報界早已並非首例。
多名消息人士透露，資深情報官員憂心AI正在逼迫分析師以更快的速度產出情報，從而為犯錯打開大門。特別是年輕一代分析師極度依賴AI數位工具，往往缺乏批判性審查的警覺性。正如一位消息人士所言，「AI只是讓你更快得出一個壞主意」。
急於技術轉型 全軍缺乏統一安全標準
這起事件暴露了美軍在推進AI轉型過程中的重大安全隱憂。國防部長赫格塞斯（Pete Hegseth）今年1月甫發布《人工智慧加速戰略》，旨在消除官僚障礙，將頂尖AI模型推廣至國防部300萬名文職與軍職人員手中，以確保在面對中國等潛在對手時保持戰場決策優勢。
然而，多位美軍官員證實，目前各部門引進AI的過程極度去中心化，不同單位採用不同的工具與安全標準，對於如何驗證AI生成的資訊，全軍至今缺乏統一的審核規範。
當前華府政界商界正密集討論AI是否會脫離人類控制，但這起中國貨輪事件揭示了更為迫切的現實危機，人類決策者可能因過度信任AI生成的錯誤資訊，從而做出災難性的軍事決策。針對此事件，美國太平洋特種作戰司令部與五角大廈均未回應《CNN》的置評請求。