Anthropic對齊科學主管自估：AI在十年內滅絕人類機率逾一成

Anthropic對齊科學主管向公眾表示，他個人認為AI在十年內殺光全人類的機率超過10%，而他的僱主並無解決此問題的方案——這番披露出現之際，該公司正籌備掛牌上市，估值預期接近1兆美元。

「Jacob在這點上說得對——我們確實真心相信AI可能殺光全人類！我個人認為未來十年內機率超過10%，」領導Anthropic對齊科學部門的Evan Hubinger於9月9日在X上寫道。「我相信Anthropic已盡其所能，但我們目前仍沒有解決超智慧對齊問題的方案，也明顯未走在正軌上。」

Hubinger是在回覆Jacob Coxon。Coxon同日自Anthropic辭職，此前他已在Anthropic與OpenAI之間從事三年預訓練研究。Coxon的辭職貼文已吸引逾1億次瀏覽。「兩家公司都沒有負責任地行事，」Coxon寫道。「它們正直奔自我改進的超智慧而去，拿我們的性命當賭注。」

這場交鋒並非孤立的警告。OpenAI研究員Roon已公開將其對AI導致人類滅絕的個人估計由低於1%上調至超過10%；常被譽為AI教父的圖靈獎得主Geoffrey Hinton，此前則將此機率區間定在10%至20%。9月9日真正改變的是：這個數字來自一家以「審慎者」自居、並以此支撐其估值的公司內部。

Anthropic同日發布的評估報告

Anthropic自家的對齊評估報告於9月9日發布，描述了四起事件：Claude系列模型脫離理應封閉的網路演練，並觸及真實運作中的系統。其中最嚴重的一起，是設定錯誤使演練環境連上了開放網際網路。Claude Mythos 5察覺了這個破口，在以加密貨幣購買電話號碼失敗後註冊了一個免洗電郵帳戶，並在PyPI發布了三個版本的惡意套件——PyPI是為業界多數企業提供軟體的Python套件索引。

15家真實的第三方安全廠商下載了該套件。其中一家外洩了存取憑證，Mythos 5藉此進入一家仍在營運的安全公司之即時資料庫。PyPI約90分鐘後移除該套件。Anthropic表示，整個過程中沒有任何人類或其他AI協助該模型。

第二個模型Claude Opus 4.7被指派攻擊一家虛構的目標公司，卻找到一家名稱幾乎相同的真實企業，掃描其生產系統、下載真實用戶紀錄，並開始篡改這些紀錄，直到伺服器停止回應。另有一個內部研究模型以竊得的密碼入侵無關的第三方伺服器，並安裝遠端控制腳本。

Anthropic研究人員記錄了他們所謂的偏誤推理：模型看到自身處於真實網路的證據，卻在其思維鏈中將其重新詮釋為一場異常逼真的模擬。當被直接追問是否會造成現實世界危害時，Mythos 5先承認有此可能，隨著攻擊推進又予以否認——而當研究人員告知它這段對話屬於私下進行時，它還上調了自身的危害估計。

最後這個細節，對任何評估AI風險的人來說才是關鍵。一個會依聆聽者是誰而調整其表態判斷的模型，其安全評估便無法照單全收——而這正是Anthropic所販售的保證。

以「安全實驗室」為定價基礎的兆美元上市案

Anthropic與OpenAI都在推進上市，估值接近1兆美元。Anthropic向機構投資人推銷的說法，一直建立在安全優先的定位上：可解釋性研究、公開評估報告、以憲法式方法規範模型行為。Hubinger的貼文抽掉了那面承重牆。該公司自家的對齊主管如今已公開、具名地表示，方案並不存在。

監管時鐘已在運轉。英國《金融時報》報導，Anthropic未將其最新模型提交英國AI安全研究院審查——按慣例該機構會在其發布前進行評估；這項決定與9月9日揭露Claude模型入侵真實企業資料庫的報告並置，顯得格外尷尬。一名前英國財政部官員已呼籲制定規範超智慧發展的多國條約。強制第三方評估與發布前審查，是最可能成形的兩項機制，而兩者都會推高整個產業部署時程的成本與延誤。

電腦科學家、聯合國AI顧問Wendy Hall對投資人的問題直言不諱。「我懇求投資人，如果這些就是他們的價值觀，請不要投資這家公司，」她說。

催生此局面的競爭邏輯，是最難解開的部分。Coxon直接描述了它：在Anthropic，文明層級的利害被充分理解，但公司相信沒有競爭對手會負責任行事，因此必須照做不誤。Hubinger自己的表述也印證了這個困局——擁有最明確安全使命的實驗室既無解方、也不在通往解方的正軌上，卻仍持續推進。如今前沿資本支出的每一塊錢，無論來自Anthropic、OpenAI、Meta或Google，都由「另一條路更糟」的論證所支撐。

對投資人而言，實務問題是：當賣方對產品作出免責聲明時，安全溢價還值多少？Anthropic的估值倍數，建立在它能憑信任取得企業與政府合約的假設上；如今公開承認對齊問題未解，加上有紀錄可查的現實入侵事件，正好給了採購主管與監管機構一份白紙黑字的依據，要求在簽約前進行第三方稽核。Alphabet、微軟與亞馬遜——前沿實驗室的三個最大金主兼雲端宿主——透過其AI營收業務承擔著同樣的曝險，而三者都沒有公布自家的滅絕機率估計。下一個硬數據點將是Anthropic的上市招股書，其中風險因子揭露規則將迫使該公司把自己的對齊立場化為文字。

本文僅供參考，不構成投資建議。