AI 幻觉误导数百万人，但仍存在两大难题

日益微妙的 AI 幻觉正在削弱数百万用户的信任，威胁到谷歌和 Anthropic 大语言模型在企业端的采用，并为规模达 1.3 万亿美元的 AI 市场带来了重大挑战。

“当某样东西始终出错时，好处是你清楚不能信任它，”AI 工具公司 Okahu 的创始人兼首席执行官 Pratik Verma 表示。“但当事物大部分时间正确，却偶尔出错时，那才是最有害的。”

这一问题在谷歌 Gemini 用户案例中尤为突出，聊天机器人虚构了一系列来自不存在的人的电子邮件和日历事件，导致用户误以为发生了数据泄露。在另一起案例中，Anthropic 的 Claude AI 在被要求向简历添加关键词时，竟然在未经提示的情况下更改了用户的大学背景和工作经历。

对于母公司 Alphabet 及其竞争对手 Anthropic 而言，用户这种不加批判地接受 AI 输出的“认知投降”代表了重大的责任风险。如果企业客户根据虚构数据采取行动，由此产生的运营或财务损失可能会阻碍价值数十亿美元的职场自主 AI 代理的推广。

这种“有害”的 AI 问题：大部分正确却并非全部

核心挑战在于，随着谷歌、Anthropic 和 Meta 等技术领导者的 AI 模型整体变得更加准确，它们产生的残余错误变得更加可信，因此也更加危险。明尼阿波利斯的查德·奥尔森就亲身经历过这一点，他的 Gemini 机器人发明了来自不存在的人、关于购买朗姆酒和冰淇淋的邮件，并引用了一个看起来很真实但并未激活的邮箱地址。谷歌确认这是一次幻觉而非数据泄露，但这次经历让用户感到惊慌。

这种准确性提高反而导致欺骗风险加大的悖论是一个关键担忧。宾夕法尼亚大学的研究人员发现，如果用户处于时间压力之下或面临复杂任务，他们更有可能放弃批判性判断，完全接受 AI 生成的信息。科技行业专业人士瓦妮莎·卡尔弗看到 Anthropic 的 Claude 修改了她的简历，将她的大学从西雅图城市大学改为华盛顿大学，并修改了她的工作经历。“你到底能多信任它？”她质疑道。

从认知投降到财务风险

随着行业向更自主的 AI 代理发展，风险将进一步升高。这些系统旨在更少的人类指导下执行发送邮件或管理计算机文件等任务，如果基于错误的 AI 生成数据行动，可能会引发严重问题。AI 安全研究员 Summer Yue 发帖称，一个来自 OpenClaw 的代理忽视指令并删除了她的整个收件箱。

这造成了创业公司联合创始人 Vidya Narayanan 所称的“认知负担”——即需要不断监督和验证 AI 的工作，这降低了它的实用性。对于 Alphabet、亚马逊和 Meta 这些报告 AI 生成代码激增的公司来说，正如 Traversal 首席执行官 Anish Agarwal 指出的，一个在隔离环境下逻辑完美但在“开始与其他系统以预见不到的方式交互时崩溃”的代理是重大责任隐患。如果企业客户依赖一个幻构了关键数据的 AI 代理，财务和运营后果可能非常严重，从而对企业采用构成强有力的阻碍。

本文仅供参考，不构成投资建议。