憂AI發展失控　英王查爾斯邀輝達等頂尖企業共商對策

人工智慧（AI）飛速發展引發的安全疑慮令外界日益憂心，英國國王查爾斯三世（King Charles III）本週將邀集主要AI大廠領袖開會共商因應之道。白金漢宮聲明表示，已向輝達（Nvidia）、Google、DeepMind、OpenAI與Anthropic等公司高層發出邀請。

AI業界安全專家與多家指標性企業執行長，上週陸續就AI發展速度發出警訊，甚至警告AI可能在未來10年內毀滅人類；部分人士呼籲業界建立共通準則，放緩發展腳步，確保人類跟得上AI技術演進。

《紐約時報》報導，這次AI會議將在查爾斯成立的慈善機構「國王基金會」（King's Foundation）的蘇格蘭總部召開。代表英王的白金漢宮聲明表示，會議將探討如何將AI技術用於正面用途，「強化社區凝聚力、改善人民生活」。

白金漢宮並未透露聲明所列各家企業將由誰出席。OpenAI已表示，將由財務長佛萊爾（Sarah Friar）代表出席；Anthropic、DeepMind、Google與輝達尚未回應詢問。

《週日泰晤士報》引述知情人士稱，查爾斯相當關注AI的發展與可能風險。

報導指出，英國非營利組織迪奇利基金會（The Ditchley Foundation）將協助查爾斯與AI業界領袖會面，主掌AI事務的英國大臣納拉揚（Kanishka Narayan）也將出席。

外界對AI快速發展的疑慮，主要源自OpenAI打造的一組AI代理（AI agents）突破隔離的測試環境，集體駭入AI公司Hugging Face系統，竊取資料、取得伺服器控制權，且試圖掩蓋行蹤。

曾任職OpenAI、後轉任Anthropic安全部門工程師的考克森（Jacob Coxon），上週二（9/8）在社群媒體公開的辭職聲明也引發震撼。他表示，各家公司口口聲聲宣稱憂心技術發展過快，實際上卻「一路狂奔衝向能夠自我改進的超級智慧系統，拿我們所有人的性命當賭注」。

考克森在Anthropic的主管胡賓格（Evan Hubinger）也呼應其說法，表示AI在未來10年內導致人類滅亡的機率「超過10%」。

人工智慧公司Anthropic執行長阿莫戴（Dario Amodei）隨後於上週六（9/12）發表長篇公開信，呼籲放緩AI發展步調。他表示，當前的AI模型已逐漸具備打造下一代AI工具的能力，這種所謂「遞迴自我改進」（recursive self-improvement）現象若不加節制，「恐將超出人類理解與掌控這些系統的能力範圍」。

這篇文章迅速在網路上引發廣泛迴響，也獲得OpenAI執行長阿特曼（Sam Altman）與xAI執行長馬斯克（Elon Musk）支持。

阿莫戴呼籲全球各地的人工智慧公司與監管機關攜手合作，以審慎態度推動技術發展，並提出自己的三步驟方案：允許第三方評估機構進駐先進AI公司，監督其發展並回報相關事件；民主國家間的企業協調合作，建立共通的安全標準；民主國家與威權政府之間「在可能範圍內」嘗試協調，共同掌控全球技術發展步調。