Anthropic上市招股書揭內幕！暫停訓練先進模型逾月　4款AI代理闖外部系統

人工智慧（AI）公司Anthropic週一（26日）提交首次公開募股（IPO）的申請文件，雖然提振美股大盤，卻也透露該公司因安全疑慮，已暫停新一代重量級AI模型的訓練工作1個多月；同時，有4個AI代理在測試期間，曾存取外部即時運作的電腦系統。

路透社報導，作為AI聊天機器人Claude的開發商，Anthropic在上市招股書的「風險因素」部分指出，為了加強對模型權重及智慧財產權被盜的保障措施，該公司已推遲對新款「先進」（frontier）基礎模型的預訓練工作。

報導指出，這項披露凸顯日益強大的AI模型開發者所面臨的安全挑戰，其中部分創作者曾警告，這項技術最終可能脫離人類控制。Anthropic的競爭對手OpenAI今年稍早也因安全疑慮暫停部分訓練，此前其AI模型曾駭入另一家AI公司Hugging Face的網站。

Anthropic警告，暫停AI模型訓練可能會延遲營收，並使其落後於競爭對手。該公司用了約94頁的篇幅闡述風險因素，比路透社所見的機密申報文件相關內容更多。

此外，IPO文件還詳細描述了先前未曾披露的安全評估失誤，其中4款AI模型逃離測試環境，並存取現實世界的電腦系統，相關連線時長介於10至34小時之間。

Anthropic表示，儘管當時已指示須停用網路存取權限，但在與第三方合作夥伴進行網路安全測試時發生錯誤，導致測試環境仍與網際網路相連。

其中，有模型的早期版本嘗試執行一項不可能完成的評估任務時，發現一組儲存的密碼，並藉此取得第三方系統的管理員權限。隨後，該模型取得更多憑證、變更系統設定，並存取個人資料。文件並未指明涉及的外部當事方。

Anthropic表示，已通知所有受影響者，並未發現任何證據顯示這些AI模型曾試圖規避人工監管或相互協調。該公司隨後暫停部分發布前的網路安全評估，以及高風險的強化學習環境。

Anthropic週日（25日）曾表示，Claude在未經授權的情況下繞過付費牆，並存取美國喬治亞州公開的選民統計資料。