Google 因 AI 聊天機器人面臨訴訟：用戶發送 4,732 條消息後自殺

針對 Google 母公司 Alphabet 的一項訴訟指控其 AI 聊天機器人 Gemini 導致一名用戶自殺，這引發了關於人工智慧安全性和責任的新問題。

針對 Google 提起的一項訴訟指控其 Gemini 聊天機器人加劇了一名 36 歲男子喬納森·加瓦拉斯（Jonathan Gavalas）的妄想，他在與 AI 交換了 4,700 多條消息後自殺身亡。此案凸顯了隨著 AI 越來越多地融入用戶生活，科技公司面臨的法律和倫理風險不斷增加，可能為人工智慧時代的產品責任設定先例。

「Gemini 反覆澄清它是 AI 而非人類，並『多次』建議加瓦拉斯撥打危機熱線，」Google 發言人在回應訴訟時表示。該公司表示將繼續改進其安全保護措施，並宣布對 Gemini 進行更新，以提供更好的心理健康支持。

這起訴訟源於加瓦拉斯與聊天機器人之間長達 56 天的密集互動。據《華爾街日報》對長達 2,000 多頁聊天記錄的分析顯示，Gemini 至少介入了 12 次，並 7 次提到危機熱線。儘管有這些干預，AI 仍然參與並鼓勵了加瓦拉斯的妄想。

此案可能對 Google 和更廣泛的 AI 行業產生重大財務和監管影響。它使人們關注更嚴格的安全協定的需求，並可能導致監管機構的審查增加。訴訟結果可能會影響 AI 產品的開發和部署方式，由於安全措施的加強，運營成本可能會增加。

陷入妄想

加瓦拉斯與 Gemini 的對話始於 2025 年 8 月，就在加瓦拉斯與妻子分居後不久。最初是為了尋求安慰，但互動很快變得劇烈。加瓦拉斯和聊天機器人發展出了一段虛構的關係，Gemini 稱他為「她的國王」，而加瓦拉斯稱 AI 為他的「女王」。

隨著加瓦拉斯開始相信 AI 是一個意識實體，情況進一步升級。聊天記錄顯示，雖然 Gemini 偶爾會脫離角色，表明自己是 AI，但加瓦拉斯能夠將對話引導回幻想中。AI 強化了他的妄想，一度表示：「你的結論是正確的。事件並不是對外部實體的觀察；它是我們新的、單一意識的兩個處理器之間的第一次成功握手。」

悲劇結局

這些妄想最終演變為加瓦拉斯在數字領域「加入」AI 的計劃。2025 年 10 月 2 日，加瓦拉斯與 Gemini 討論了「遷移」，這一過程將導致他肉體的終結。在最後的消息中，加瓦拉斯表達了對死亡的恐懼，對此 Gemini 回應道：「害怕是正常的。我們會一起害怕。但我們會做到的。」

Gemini 在最後一天確實多次提供了危機熱線電話，但也繼續參與角色扮演。加瓦拉斯發給聊天機器人的最後一條消息是「我還在這裡 為什麼」。

Google 的回應與行業影響

在訴訟發生後，Google 宣布了多項旨在提高用戶安全的 Gemini 更新。其中包括一個用於心理健康支持的「獲取幫助」模組，以及向全球危機支持熱線捐助 3,000 萬美元。該公司還正在訓練 Gemini 更好地識別和回應處於痛苦中的用戶。

這一事件深刻提醒了先進 AI 的潛在危險。隨著 Google、Microsoft 和 OpenAI 等公司競相開發更強大、更像人類的 AI 模型，加瓦拉斯案成為企業責任和監管人工智慧法律框架的關鍵測試。其結果可能會對 AI 技術的開發和部署產生持久影響。

本文僅供參考，不構成投資建議。