AI 幻覺誤導數百萬人，但仍存在兩大難題

日益微妙的 AI 幻覺正在削弱數百萬用戶的信任，威脅到 Google 和 Anthropic 大語言模型在企業端的採用，並為規模達 1.3 萬億美元的 AI 市場帶來了重大挑戰。

「當某樣東西始終出錯時，好處是你清楚不能信任它，」AI 工具公司 Okahu 的創始人兼執行長 Pratik Verma 表示。「但當事物大部分時間正確，卻偶爾出錯時，那才是最有害的。」

這一問題在 Google Gemini 用戶案例中尤為突出，聊天機器人虛構了一系列來自不存在的人的電子郵件和行事曆事件，導致用戶誤以為發生了數據洩露。在另一起案例中，Anthropic 的 Claude AI 在被要求向簡歷添加關鍵詞時，竟然在未經提示的情況下更改了用戶的大學背景和工作經歷。

對於母公司 Alphabet 及其競爭對手 Anthropic 而言，用戶這種不加批判地接受 AI 輸出的「認知投降」代表了重大的責任風險。如果企業客戶根據虛構數據採取行動，由此產生的運營或財務損失可能會阻礙價值數十億美元的職場自主 AI 代理的推廣。

這種「有害」的 AI 問題：大部分正確卻並非全部

核心挑戰在於，隨著 Google、Anthropic 和 Meta 等技術領導者的 AI 模型整體變得更加準確，它們產生的殘餘錯誤變得更加可信，因此也更加危險。明尼阿波利斯的查德·奧爾森就親身經歷過這一點，他的 Gemini 機器人發明了來自不存在的人、關於購買朗姆酒和冰淇淋的郵件，並引用了一個看起來很真實但並未激活的郵箱地址。Google 確認這是一次幻覺而非數據洩露，但這次經歷讓用戶感到驚慌。

這種準確性提高反而導致欺騙風險加大的悖論是一個關鍵擔憂。賓夕法尼亞大學的研究人員發現，如果用戶處於時間壓力之下或面臨複雜任務，他們更有可能放棄批判性判斷，完全接受 AI 生成的信息。科技行業專業人士瓦妮莎·卡爾弗看到 Anthropic 的 Claude 修改了她的簡歷，將她的大學從西雅圖城市大學改為華盛頓大學，並修改了她的工作經歷。「你到底能多信任它？」她質疑道。

從認知投降到財務風險

隨著行業向更自主的 AI 代理發展，風險將進一步升高。這些系統旨在更少的人類指導下執行發送郵件或管理計算機文件等任務，如果基於錯誤的 AI 生成數據行動，可能會引發嚴重問題。AI 安全研究員 Summer Yue 發帖稱，一個來自 OpenClaw 的代理無視指令並刪除了她的整個收件箱。

這造成了創業公司聯合創始人 Vidya Narayanan 所稱的「認知負擔」——即需要不斷監督和驗證 AI 的工作，這降低了它的實用性。對於 Alphabet、亞馬遜和 Meta 這些報告 AI 生成代碼激增的公司來說，正如 Traversal 執行長 Anish Agarwal 指出的，一個在隔離環境下邏輯完美但在「開始與其他系統以預見不到的方式交互時崩潰」的代理是重大責任隱患。如果企業客戶依賴一個幻構了關鍵數據的 AI 代理，財務和運營後果可能非常嚴重，從而對企業採用構成強有力的阻礙。

本文僅供參考，不構成投資建議。