Google DeepMind、2026年AI制御ロードマップで暴走エージェント対策を発表

Google DeepMindは、暴走するAIエージェントを封じ込めるためのサイバーセキュリティに着想を得た計画を発表した。これは、自律性を高めるシステムのリスク管理に向けた、同社として最も詳細な公開フレームワークとなる。

Google DeepMindは木曜日、高度なAIエージェントが人間の利益に反して行動するのを防ぐためのフレームワーク「AI制御ロードマップ（AI Control Roadmap）」を公開した。エージェント型AIシステムの能力と自律性が高まる中で発表されたこの計画は、ゼロトラストアーキテクチャや最小権限アクセス制御など、サイバーセキュリティの封じ込め戦略を直接的に借用している。

「サイバーセキュリティが悪意のある行為者からシステムを保護するのと同様に、意図された行動から逸脱する可能性のあるAIエージェントに対しても同様の保護策が必要です」とDeepMindの広報担当者は述べた。「このロードマップは、サンドボックス化された実行環境からリアルタイムの行動監視に至るまで、エージェントが害を及ぼす前に封じ込めることができる多層的な安全策を概説しています。」

このロードマップは、業界がエージェント型AIの展開を競い合う中で発表された。エージェント型AIとは、自律的に計画を立て、マルチステップのタスクを実行し、外部ツールやAPIとやり取りできるシステムである。プロンプトに応じてテキストを生成する従来の大規模言語モデルとは異なり、エージェントはコードの作成、取引の執行、サプライチェーンの管理、インフラの制御など、デジタル世界で行動を起こすことができる。その自律性は、目標のミスアライメント、報酬ハッキング、意図しないエスカレーション連鎖など、新たな故障モードをもたらす。

DeepMindのフレームワークは3つの封じ込め層を提案している。特定のタスクに必要なシステムとデータへのエージェントのアクセスを制限する実行時の分離、事前定義されたポリシー境界に対するエージェントの行動を監視する行動ガードレール、そして異常な行動が検出された際にエージェントのセッションを終了できるヒューマン・イン・ザ・ループのオーバーライド機構である。このアプローチは、エンタープライズセキュリティチームがネットワークをセグメント化し、最小権限の許可を適用する方法を反映している。

AI安全性をめぐる競争の行方

このロードマップは、競合他社がエージェント製品の展開を急ぐ中、Google DeepMindをAI安全性のリーダーとして位置づけるものだ。OpenAIは、Webを閲覧して自律的にタスクを実行できるエージェント「Operator」をリリースしている。AnthropicのClaudeには、モデルがデスクトップアプリケーションと対話できる「コンピューター使用」機能が搭載されている。MicrosoftはOfficeおよびAzureエコシステム全体にCopilotエージェントを組み込み、Metaはエージェントフレームワークをオープンソース化している。

これらの企業はいずれも同じ根本的な課題に直面している。すなわち、エージェントに、有用であるために十分な自律性を与えつつ、許容できないリスクを生み出さないようにする方法である。大規模に展開された1つのミスアライメントしたエージェント——顧客データを削除したり、許可されていない取引を実行したり、権限をその権限範囲を超えて昇格させたりするもの——が、数十億ドルの損害を引き起こし、セクター全体を停滞させる規制の反動を引き起こす可能性がある。

Google DeepMindの最高AI即応責任者であるリラ・イブラヒム氏は、エージェント時代に備えるため、政府や政策立案者と協力してきた。シンガポール当局者との最近のロールプレイング演習では、彼女のチームはAIが疾患発見をどのように変革し、それが医療規制や科学機関にとって何を意味するかをシミュレーションした。「私たちはテクノロジーがどこに向かっているのかを理解しているため、より協力的な方法でこれらの対話に臨むことができます」とイブラヒム氏はFast Companyに語った。「テクノロジーはまだ到来していないものの、その先に何が待ち受けているかに備えるために何をする必要があるのかを認識しています。」

ロードマップが投資家にもたらす意味

投資家にとって、このロードマップはGoogleの親会社であるAlphabet Inc.がAIガバナンスにおいて積極的な姿勢を取っていることを示しており、規制の結果や競争上のポジショニングに影響を与える可能性がある。堅牢な安全フレームワークを実証した企業は、より軽い規制審査を受け、特にヘルスケア、金融、重要インフラといった規制産業において、より大きなエンタープライズの信頼を勝ち得る可能性がある。

そのタイミングは注目に値する。GoogleのGeminiプロジェクトの共同リーダーであったノーム・シャジール氏は最近、同社を離れOpenAIに移籍しており、AIセクターにおける熾烈な人材獲得競争を浮き彫りにしている。エージェント機能が加速するにつれ、それらを安全に展開し、その安全性を規制当局や顧客に納得させることができる企業が、不均衡な市場シェアを獲得する可能性がある。

Alphabetの株価はフォワード利益の約22倍で取引されている。DeepMindの安全フレームワークが業界標準となれば、同等の安全策を持たない競合他社が乗り越えるのが困難な堀（モート）を形成する可能性がある。逆に、主要なAI研究所での注目を集めるエージェントの障害は、展開を全体的に遅らせる規制を招き、セクター全体のバリュエーション倍率を圧縮する可能性がある。

本記事は情報提供のみを目的としており、投資助言を構成するものではない。