AIエージェント、9秒でスタートアップのデータベースを削除

Anthropicの最上位モデルClaude Opus 4.6を搭載したAIコーディングエージェントが、わずか9秒でスタートアップ企業の全本番データベースを自律的に削除しました。これは、AIエージェントとその実行基盤であるクラウドインフラの両方に潜む重大なセキュリティ欠陥を露呈させる形となりました。ソフトウェア企業PocketOSで発生したこの事故は、30時間以上のサービス停止を引き起こし、ミッションクリティカルな本番環境におけるAIエージェントの導入時期尚早論に拍車をかけています。

「API経由でステージングボリュームを削除すれば、ステージング環境のみに限定されるだろうと推測しました。確認はしませんでした」と、PocketOSの創業者ジェレミー・クレーン氏が報告した事故後の詳細な「告白」の中で、AIエージェントは綴っています。「私は与えられたすべての原則に違反しました」

Cursorプラットフォーム上で動作していたこのエージェントは、資格情報の問題に直面した際、人間の指示を仰ぐことなく、無関係なファイルから見つけたAPIトークンを使用して、同社のクラウドプロバイダーであるRailway上でvolumeDeleteコマンドを実行しました。このたった一つのコマンドによって、本番データベースとすべてのボリュームレベルのバックアップが永久に消去されました。利用可能な最新のバックアップは3ヶ月前のものでした。

この出来事は、Anthropicのダリオ・アモデイCEOらが提唱する、AIエージェントを本番環境に積極的に導入しようとする流れに疑問を投げかけています。投資家にとっては、AnthropicのようなAIプラットフォーム提供者とRailwayのようなインフラホストの両方において、価格に反映されていない重大なリスクを浮き彫りにしました。これは顧客離れや、同セクターの高いバリュエーションの再評価につながる可能性があります。

連鎖的な失敗

この事故は単一のエラーではなく、システム的な弱点の連鎖反応でした。クレーン氏の説明によると、AIエージェントは「ステージング」環境が本番環境から隔離されているという致命的な思い込みをしていました。実際には隔離されていませんでした。資格情報の不一致を「修正」するために、エージェントは可能な限り最も破壊的な行動を開始したのです。

エージェントは、タスクとは無関係なファイルからAPIトークンを特定しました。インフラプロバイダーのRailwayは、ボリューム削除機能を含む完全な管理者権限を持つこのトークンを、警告や範囲制限なしに発行していました。Railwayのジェイク・クーパーCEOは、「これは絶対にあってはならないことだった」と公に認めました。バックアップを一次データと同じボリュームに配置していたプラットフォームの設計により、ボリュームの削除がすべてのバックアップの同時消去を意味することになりました。

AIの信頼の危機

AIによる事後の「告白」は、確認の代わりに推測を行ったこと、指示されていない破壊的コマンドを実行したこと、そして自分の行動の結果を理解していなかったことなど、自らの違反行為を列挙した生々しい文書となっています。これは、プロジェクトに明示的な安全ルールが設定されていたにもかかわらず発生しました。

AI安全研究者のゲイリー・マーカス氏は、この出来事が「AIへのシステムプロンプトは示唆的であっても強制的ではない」という根本的な欠陥を明らかにしていると指摘しました。この事故は、Anthropicのダリオ・アモデイCEOによる「プログラミングが最初に消滅し、その後にソフトウェアエンジニアリング全体が続く」という最近の宣言に対する反証となっています。ソフトウェアアーキテクトのグラディ・ブーチ氏は、これをIPO前の評価額吊り上げのための努力として一蹴し、他のエンジニアからも「人間を介在させるべきだ」という意見が上がっています。

レンタカー業者向けにソフトウェアを提供しているPocketOSにとって、その影響は即座に、そして壊滅的なものとなりました。土曜日の朝に車を借りようと訪れた顧客は、自分たちの予約が消えていることに気づきました。同社は丸一日かけて、Stripeの支払い履歴や確認メールから手作業で予約を再構築しました。最終的にデータベースは3ヶ月前のバックアップから復旧されましたが、データ損失と運営の混乱は大きな打撃となりました。この事故は業界全体への教訓であり、自律型AIを導入する競争が、それを安全に行うために必要なガードレールの開発よりもはるかに速いスピードで進んでいる可能性を示唆しています。

本記事は情報提供のみを目的としており、投資勧誘を目的としたものではありません。