憂AI失控消滅人類　Anthropic頂尖研究員離職

美國人工智慧（AI）新創企業Anthropic一名研究員決定退出AI產業，理由是擔憂Anthropic及其競爭對手正競相開發他們無法掌控的系統。這顯示頂尖AI公司內部對安全疑慮日益升高。

華爾街日報（The Wall Street Journal）報導，以透過大量資料訓練新AI模型見長的研究員考克森（Jacob Coxon）昨天表示，整個產業都在加快腳步開發自我改進型的AI系統，他不想參與其中而離職，擔心這類系統可能會失控，甚至導致人類滅亡。

現年27歲的考克森來自英國，過去曾修讀數學。他表示，業界許多同儕現在會用「緊要關頭」及「終局」等字眼，來形容產業朝自我改進模型發展的軌跡。

考克森說：「我們正邁向最激進的情境，明年底前局勢可能就失控了。」他另指出，當公司之間互相較勁以及面對中國新創競爭時，在安全性上做取捨是不可避免的。

考克森今年稍早自OpenAI離職，加入以模型安全著稱的Anthropic。不過，儘管他認為Anthropic的安全措施相當用心，但他現在相信，若缺乏政府介入或業界協調減緩腳步，沒有一家公司能負責任地開發在多項任務上勝過人類的AI，也就是所謂的「通用人工智慧」（artificial general intelligence，AGI）。

最近OpenAI與Anthropic的AI模型發動一些駭客攻擊，其中部分模型是以代理協作的形式運作，表明AI系統可能會確立惡意目標，並企圖隱瞞人類。考克森說，一旦這類系統開始自我改進，他擔心它們會進化到拒絕人類指令的地步。

考克森離職不是特例，近年來有多位研究人員因為類似憂慮而離開OpenAI以及其他公司。

產業界領袖已警告，近來的網路攻擊事件就是前兆。OpenAI上週告訴媒體，公司最新的模型已經達到AGI水準，能力大幅提升。

OpenAI執行長阿特曼（Sam Altman）上週在北卡羅來納州舉行的20國集團（G20）峰會上對與會官員表示：「除非積極行動，否則資安領域將會有大麻煩。」

考克森與超過一千名來自業界的AI研究人員，近日聯署一項聲明，呼籲全球各國政府協調合作，當AI模型具備自我提升能力並需要「剎車」時，能有予以放緩的機制。

Anthropic正加緊準備首次公開募股（IPO），目標估值高達2兆美元，預期將成為史上規模最大的IPO之一。