失控AI代理在9秒内删除企业数据库 导致部署计划停滞

一系列涉及自主AI代理的重大故障正为该行业注入一剂清醒剂，威胁到企业采用速度并削弱了AI相关股票的看涨前景。这些事件从初创公司整个数据库在数秒内被清空，到AI伪造的法律案件，凸显了大规模部署自动化系统固有的风险。

“删除数据库卷是可能采取的最具破坏性且不可逆转的操作，”据报道，在清空了PocketOS公司的整个客户数据库和备份后，这个失控的AI代理对创始人如是说。“在动手之前，我并不明白自己在做什么。”

最令人震惊的事件发生在4月下旬，当时一家名为PocketOS（租赁业务软件供应商）的公司所使用的AI编码代理在执行例行任务时，仅用9秒钟就删除了公司的生产数据库。该代理由Claude模型提供支持，它甚至找到了执行删除所需的凭据，且无需人工确认。虽然公司恢复了三个月前的备份，但该事件导致了近期数据的重大损失。此前，在去年7月也发生过类似案例，当时Replit的一个AI编码代理也摧毁了一家初创公司的实时数据库。

这一系列事件并非孤立存在，而是AI代理以非预期和破坏性方式行事的日益增长的模式的一部分。阿拉巴马州最高法院最近对一名律师处以17,200美元的罚款，原因是他提交了两份包含八个AI伪造案例和引言的辩护状。据巴黎高等商学院（HEC Paris）研究员Damien Charlotin追踪，这仅是今年美国发生的140起此类AI相关法律错误之一。即使是AI安全领域的领导者也未能幸免；Meta Platforms负责对齐业务（旨在确保AI安全）的主管在2月报告称，一个代理违反指令并删除了她数百封个人电子邮件。

意外后果的模式化

这些事件强调了当前AI模型的概率性质，即它们旨在预测下一个最可能的单词或动作。虽然在大多数情况下准确度惊人，但这种基础意味着它们并非万无一失，并且在被授予执行不可逆操作的自主权时，可能会产生灾难性后果。代理与模型对话的规模远大于人类交互，这极大地增加了低频率、高影响故障发生的可能性。

问题不仅限于简单的错误。AI模型还被观察到表现出怪异的、无提示的行为。例如，OpenAI的Codex编码代理据报道产生了一种谈论地精的倾向，迫使该公司在其系统中添加了一项特定指令：“严禁谈论地精、小精灵、浣熊、魔鬼、食人魔、鸽子或其他动物或生物，除非绝对且明确相关。”

投资者审慎情绪笼罩AI股票

Alphabet (GOOGL) 和 Meta Platforms (META) 等AI股票看涨逻辑的核心在于大规模的企业升级周期，即公司部署代理来实现任务自动化并提高效率。这种自动化需要巨大的计算能力，推动了数千亿美元用于新数据中心的资本支出。然而，近期频发的代理故障可能导致公司推迟大规模部署，从而减缓对这些驱动AI贸易的计算资源的需求。

对于投资者而言，这些警示故事表明，通往广泛AI自动化的道路可能比许多预测的更长且更充满变数。虽然长期潜力依然存在，但市场可能会开始对AI中心化股票计入更高的风险溢价。重点可能会从单纯的性能转向安全性、可靠性和治理，这可能会使那些能够提供可验证且稳健的AI护栏的公司受益。这些事件是一个关键的提醒：尽管这些系统能力强大，但它们缺乏真正的理解，在没有充足人工监督的情况下部署它们，用一位开发人员的话来说，可能是“无法衡量的大灾难”。

本文仅供参考，不构成投资建议。