用AI寫報告險釀禍！美國防部誤信情資「中國船在中東運核武組件」差點採取武裝行動

美國與以色列2月28日聯手對伊朗開戰，戰爭初期，一份在美軍內部流傳的情報顯示，：一艘位於中東的中國船隻正運送核武計畫的零組件。就在美軍即將對該艘船隻採取行動之際，官員才赫然發現這份情報是人工智慧（AI）聊天機器人幫忙寫的，而且內容錯得離譜，差一點在伊朗戰爭中「另闢新戰線」。

美國有線電視新聞網（CNN）報導，根據熟悉這起事件的4位消息人士透露，美軍接獲這份情報報告後隨即展開行動，計畫攔截該艘船隻。

其中兩名消息人士指出，美軍武裝人員當時正準備登上該船。其中一名消息人士以及另一名熟悉內情的消息人士表示，軍機當時已經升空。

直到預定行動展開前夕，官員深入追查這份由特種作戰司令部分析師撰寫的報告，才發現該報告是在AI的協助下產生的。而且該名分析師所使用的聊天機器人錯誤辨識船隻載運的物資。

CNN無法得知該批被誤認的貨物究竟為何物。

根據其中一名消息人士表示，該份報告「完全錯誤」。該名消息人士也指出，這「差點引發一場戰爭」；美軍針對中國船隻的任何行動，都可能面臨演變成兩國武裝衝突的風險。

美國官員正推動將AI融入整個美軍與情報體系工作的幾乎所有層面，從分析美國蒐集的龐大原始情報與挑選打擊目標，到管理預算、後勤與供應鏈等較為例行的應用。

然而，這起事件凸顯出在戰爭期間，將這項強大、全新卻相對缺乏了解的技術，用於鎖定目標時所帶來的嚴重風險。分析人士長期以來一直擔心，若各國仰賴不良或損壞的數據，AI可能會導致災難性的誤判，而這種誤判可能會導致美國根據不正確的資訊向中國船隻開火。

在這個具體案例中，該名分析師就總部設於夏威夷的美國太平洋特種作戰司令部所提供關於該船載貨清單的部分情報報告，向聊天機器人提問。目前尚不清楚事件中使用的聊天機器人，是商業普及產品還是美國政府開發的產品。

一位熟悉軍方與情報分析師所使用AI系統的前美國資深官員表示：「這些內部工具大多只是商業產品的翻版，只不過換個包裝而已。」

這個聊天機器人將開源情報與政府持有的機密訊號情報結合在一起，並就該船所載運的物資得出這個結論。分析師隨後再次使用AI，將這些調查結果整理成一份標準情報報告、也就是軍方官員信任的那種報告，並傳送出去。

美國太平洋特種作戰司令部與五角大廈均未回應CNN的置評請求。

軍方迅速採用AI的理由在於，它能協助軍方更快做出戰場決策，例如打擊哪些目標，或將哪些軍事資產調往何處。

官員表示，美國承擔不起在整合AI方面落後的後果，以防有朝一日必須與中國或其他可能領先美國一步的對手作戰。

美國國防部長赫格塞斯今年1月發布「人工智慧加速戰略」，試圖加快軍方使用AI的步伐。

赫格塞斯在宣布該項戰略的演說中表示：「我們將進行實驗，消除官僚障礙，集中投資，並展示必要的執行方法，以確保我們在軍事AI領域保持領先地位。」

這項戰略也推動AI在軍隊內部的廣泛使用，下令國防部透過數項計畫提供AI。一份宣布該項戰略的備忘錄指出，目標是「透過將美國世界領先的AI模型直接交到我們的300萬名文職與軍事人員手中，在所有機密等級上實現國防部AI實驗與轉型的普及化」。

但多名熟悉內情的美國官員表示，這項工作是分散進行的，政府的不同部門在不同的命令與安全標準下，各自使用不同的工具。美國並沒有一套統一的標準來驗證這些工具所產生的資訊。軍方和情報部門各自部署的各種AI系統，意味著它們的相對可靠性和功能性差異很大。

最近幾週，在矽谷工程師與科技業執行長發出一系列關於AI可能脫離人類控制，且可能帶來文明終結後果的嚴厲警告之後，華府決策者針對AI展開激烈辯論。

但這起中國船隻事件凸顯一種不同且更為迫切的風險：人類根據AI或其他自動化系統產生的不正確或具誤導性資訊，做出災難性的決策。消息人士表示，軍方正迅速轉向AI以協助鎖定目標，而該領域存在著犯下致命錯誤的明顯風險。

另一名熟悉軍方現行政策的消息人士表示：「在鎖定目標方面使用AI無疑正在加速推進，而且對於在決策環節中，人員如何參與以防止平民傷亡或誤傷友軍，並不存在真正的指導方針。」

根據其中一位消息人士指出，自從這些工具開始在政府內部普及以來，此事件中分析師所使用的工具產生的這種「幻覺」，在整個情報體系中並非孤立事件。

對於一些較資深的情報官員而言，即使是那些大致上支持在軍方內部使用AI的人士，AI給分析人員帶來壓力，要求他們更快地產生和傳播情報，這增加了出錯的可能性。多名消息人士表示，特別是年輕分析師，他們是這些工具的數位原生世代，更有可能不加批判地信任它們。

其中一位消息人士一針見血地表示：「AI讓你更快走向錯誤的決定。」