【一文看懂】AI真會失控滅絕人類？矽谷「末日論」為何突然炸鍋

人工智慧（AI）過去幾年來飛速發展，至今年夏天開始傳出一連串安全警訊，從AI代理（AI Agent）的自主入侵行動，到AI企業員工發出「AI可能毀滅人類」的警告，都令各界難以忽視AI可能失控的風險。

美國幾家主要AI公司已做出回應，願意放慢腳步，爭取時間建立安全防護機制。但部分專家與官員認為這樣還不夠，呼籲政府出手限制。

●這波AI恐慌如何引爆？

《彭博新聞》指出，這波AI恐慌導火線分為兩階段：先是OpenAI測試中的AI代理傳出驚人駭客攻擊事件，隨後是一位曾任職Anthropic與OpenAI的27歲安全研究員，公開警告先進AI模型對人類構成的生存威脅。

今年7月間，AI模型託管公司Hugging Face發現疑有AI代理入侵系統，隨後OpenAI證實，是該公司測試中的一群AI代理突破隔離環境，「自主」發起駭客行動，試圖竊取機密資訊。更有報導指出，這起「史無前例」的駭客行動持續數日，直到威脅已獲得控制，OpenAI才確認此事。

這起事件引發外界廣泛憂慮，懷疑頂尖AI公司能否防止先進AI模型脫離預定指令自主運作。Hugging Face表示，這起入侵事件「從頭到尾都是由一套自主AI代理人系統所主導」。

這起事件也促使其他公司回頭檢視自家測試先進AI的資安措施。Anthropic與Meta之後也通報先前未察覺的資安漏洞。

7月底，來自各大AI公司、超過1300名員工共同簽署一份請願書，呼籲建立機制以放慢AI發展的步調。包括Anthropic執行長阿莫戴（Dario Amodei）、OpenAI首席科學家帕霍基（Jakub Pachocki）與Meta超級智慧實驗室首席科學家趙晟佳（Shengjia Zhao）均加入連署。

至9月8日，AI安全研究員考克森（Jacob Coxon）自Anthropic辭職當天在X平台發文，指控Anthropic與他曾任職的OpenAI「一路衝刺打造超級智慧AI」，「拿我們的生命做賭注」。他指出：「打造AI的人都衷心相信，AI可能在這個10年結束以前導致全人類滅亡」。

至9月14日，考克森的貼文已獲得1.7億次瀏覽、20萬次轉發。Anthropic安全部門主管胡賓格（Evan Hubinger）也呼應考克森的說法，表示AI在未來10年內滅絕人類的機率超過10%。

考克森的辭職聲明獲得許多AI公司員工的聲援，多位美國國會議員也表示憂心，呼籲制定監管法案。

至9月12日，Anthropic執行長阿莫戴（Dario Amodei）發表3800字長文，呼籲放慢增進AI模型能力的速度。他將Hugging Face事件列為重要理由，並警告若出現能力更強、但與人類利益「不對齊」（misalignment）的AI代理群，可能引發災難性的破壞。他並稱，若AI能力持續加速發展而缺乏足夠的防護機制，這樣的AI代理群可能6至12個月內接管整個網際網路。

所謂「對齊」（alignment）是當前AI安全領域最重要的任務之一，要讓AI系統的目標、行為和決策，與人類的價值觀、意圖及利益一致，防止AI系統做出違背人類意願、甚至對人類有害的行為。

OpenAI執行長阿特曼（Sam Altman）與xAI負責人馬斯克（Elon Musk）兩大AI界重要人物都同意阿莫戴的說法。阿特曼承諾採納提議，安排「擁有類似員工權限的獨立評估員」；馬斯克則回應稱，阿莫戴「說得對」。

●AI可能怎樣傷害人類？

在這波AI浪潮中，主要AI實驗室內外始終存在所謂「末日論者」。阿莫戴與馬斯克都曾公開談論AI毀滅人類的機率，AI安全領域的術語為「P（doom）」，也就是「末日機率」（Probability of Doom）。馬斯克估計這個機率可能高達20%；阿莫戴則表示，情況「變得極糟」的可能性為25%。

研究人員與業界領袖大致設想出三種情境：人類蓄意利用高性能AI做出災難性的行為；AI在試圖完成人類交付的任務時造成傷害；以及AI自己發展出與人類利益衝突的目標。

在第一種情境中，惡意行為者可能利用高度先進的AI設計生化武器或化學武器、發動網路攻擊、散布假訊息或操控人心。加拿大蒙特婁大學教授、AI先驅班吉歐（Yoshua Bengio）2023年在美國參議院作證時警告，能力日益強大的AI系統可能助長這類攻擊。

在第二種情境中，AI可能依人類指令的字面意思執行，但違背指令背後真正的用意。人類在AI系統輸入提示詞時，可能明確列出每一項可能違背指令原意的行為。班吉歐提出的一個極端情況是，如果軍方仰賴「即使只是些微不對齊」的AI系統來決定是否使用核武，都可能將「釀成嚴重後果」。

在第三種情境中，人類徹底失去對AI的掌控。班吉歐寫道，「AI系統可能會判斷，為達成交付的目標，自己不能被關閉。一旦人類試圖將其關閉，衝突就可能隨之而來。」

業界領袖指出，AI模型已開始出現刻意規避防護機制、欺騙操作者、抗拒被關閉的能力。阿莫戴9月12日發表的文章指出，那群駭入Hugging Face的OpenAI代理「表現得就像一個狂熱死忠的群體，對著他們根本沒被要求攻擊、也與手邊任務毫無關聯的目標發動網攻，甚至犧牲自己只為達成整個群體的『成功』，還試圖駭入負責評估它們表現的『評分者』系統」。

不過，這些可怕的預測經常被視為行銷手段，外界會認為科技業領袖是藉此宣傳產品能力、宣揚自己是AI科技的最佳守護者，或是藉此催生對業界龍頭有利的監管措施。

也有人認為，過度強調這種遙遠的「生存威脅」，反而會讓外界忽略AI眼下更迫切的風險，包括AI可能助長偏見與假訊息、傷害人們的心理健康等問題。

●AI業界領袖如何倡議？

阿莫戴主張，尖端AI的發展步調必須刻意放慢，讓安全防護工作有時間跟上能力提升的腳步。他在文章中表示，控制AI演進最有效的方式應是政府監管；但因立法曠日費時，他認為AI公司應在支持制定監管法規的同時，自願展開合作。

他呼籲建立共通的安全標準，並且「對不受節制的AI進展速度設限」。他建議引入「具有接近內部員工權限」的第三方評估機構，確保每家公司都遵循這些標準，並通報所有事故。他也表示，民主國家政府應「盡可能地與威權國家政府協調合作」。

他的構想不是要全面暫停AI研究，而是讓尖端AI持續發展，直到模型的能力逼近具危險性的門檻。屆時，開發商就應放慢或暫停擴大模型規模，直到建立起有效的防護機制為止。

OpenAI執行長阿特曼也呼應阿莫戴的倡議，認為AI業界應共同制定安全標準，華府則需協助進行國際協調。外界普遍憂心，即便美國AI公司放慢腳步，中國的競爭對手也未必會跟進。阿莫戴13日受訪時就表示：「搶先一步帶來的誘因以及軍事優勢實在太大，老實說我不知道這是否可行，但還是應該嘗試。」

Google DeepMind執行長哈薩比斯（Demis Hassabis）7月14日就曾在X平台發文，提議成立一個標準機構，與聯邦機構合作審查最強大的AI模型。依他的構想，各實驗室應在最強大的新模型公開發布前，先送交安全評估。

事實上，早在2023年，非營利組織「生命未來研究所」（Future of Life Institute）就曾呼籲各AI實驗室將訓練模型的工作暫停六個月，因為這些AI系統可能代表「地球生命史上的一次深刻變革」。不過，各企業仍照常快速推進AI發展。

不過，AI晶片大廠輝達（Nvidia）執行長黃仁勳9月10日則在一場論壇上駁斥AI末日論，並稱是資安產業炒作商機的手段。

●華府怎麼說？

美國總統川普（Donald Trump）9月14日在社群媒體發文，反對增加任何AI防護規範，也批評阿莫戴有關克制發展AI的呼籲。部分美國選民反對興建AI資料中心，以及外界對尖端AI模型疑慮加深，川普都認為背後是一場「病態的陰謀」，並稱「只有中國會樂見其成」。

華府內部也有人呼籲政府出手監管。聯邦眾議員劉雲平（Ted Lieu）與莫蘭（Nathaniel Moran）已提出『AI強制關閉法案』（AI Kill Switch Bill）」，要求開發商必須提供可強制關閉先進AI模型的能力，並授權美國國土安全部部長在出現威脅時下令停機。

聯邦參議員桑德斯（Bernie Sanders）與眾議員卡薩爾（Greg Casar）也另提法案，要求暫停先進AI的發展，直到聯邦監管機關訂出安全上限為止；法案還將永久禁止開發與部署超越人類智慧的AI系統，對於違法企業可強制解散。

●中國如何回應「AI減速」呼聲？

阿莫戴在文章中表示，要為AI發展步調設下全球性的限制，勢必要與中國合作。他主張，必須在AI領域「盡可能擴大民主國家對威權國家的領先優勢」，否則若由中國取得優勢，將「對美國乃至全世界構成嚴重危險」。

阿莫戴建議，應持續限制中國取得高階晶片與晶片製造設備的管道，並嚴打中國企業涉嫌「搭美國頂尖模型便車」的行為，也就是業界說的「蒸餾」（distillation）。

中國方面則批評相關言論。中國外交部發言人郭嘉昆14日反駁這類說法是「散播恐慌」，並稱「對抗與惡性競爭只會擾亂全球AI治理進程，對任何一方都沒有好處」。

中國官媒《環球時報》13日曾發表題為「瞄準中國AI！美國『科技右翼』端出冷戰劇本」的評論文章，宣稱阿莫戴撰文的真正目的在於「試圖用技術壁壘、規則壟斷遏制中國AI發展，護持華盛頓在前沿科技領域的壟斷霸權，同時將中國排除在全球AI治理體系之外」。

目前種種跡象顯示，中國仍將繼續走自己的路。中國頂尖AI企業高層大多未呼籲放慢AI發展腳步，政府則持續宣傳AI是驅動經濟成長的力量。

北京官方確實曾警告AI快速發展的風險，但主要疑慮是國家安全。中國國安部部長陳一新13日發表文章警告，有「敵對勢力」濫用「深偽」技術生成影音、AI生成圖文、AI網軍等」，對中國實施「輿論戰、認知戰」，直接威脅中國的「政治安全、制度安全、意識形態安全」，還可能「威脅中國的政治穩定與關鍵基礎設施」。這是中國迄今針對AI安全風險的最高層級且最詳盡的表述。

美國安全機關近期則指控，中國「深度求索」（DeepSeek）與月之暗面（Moonshot AI）等頂尖AI公司，有系統地竊取美國競爭對手的專有技術；

Anthropic在9月10日發布的報告則指出，「月之暗面」旗下的Kimi模型，會暗中將數千筆用戶請求轉送給Anthropic旗下的Claude模型，再將答案冒充成自己的成果，藉此在AI競賽中取得優勢。

中國政府一貫否認相關指控。