Google DeepMind、社内AIエージェントを「内部脅威」として監視——アラインメント任せにしない多層防御の設計図

Google DeepMindは2026年6月18日、社内に展開する高性能なAIエージェントを守るための枠組み「AI Control Roadmap」を公開しました。モデルのアラインメント（意図との整合）だけに頼るのではなく、たとえ整合が不完全でも安全を担保できるよう、システム側の仕組みで守るという発想です。著者はRohin Shah氏とFour Flynn氏らの研究チームです。

アラインメント任せにしない「多層防御」

AI Control Roadmapは、Google社内で使われる先進的なAIシステムを守るための「多層防御（defense-in-depth）」の枠組みとして位置づけられています。エージェントが必ず意図どおりに振る舞うことを前提にするのではなく、仮に整合が不完全でも安全が保たれるよう、システムレベルのセキュリティで二重三重に備えるのが基本方針です。

エージェントが自律的にコードを書き、ツールを呼び出し、長時間にわたって作業を進めるようになると、悪意の有無にかかわらず、想定外の操作が起きるリスクは無視できません。DeepMindは、こうしたエージェントを「信頼しきらない」前提で扱い、監視と対応の仕組みを組み込むことを重視しています。

画像引用元: Google DeepMind

100万件のエージェント軌跡を分析

DeepMindは、コーディングエージェントの「軌跡（trajectory）」を非同期で監視するプロトタイプを構築しました。エージェントが取った一連の行動を後追いで点検し、脅威の分類（taxonomy）に照らして各事象を判定したうえで、疑わしいものを人間のレビューへエスカレーションする仕組みです。

この分析の規模は約100万件のコーディングタスクに及びます。大量の実例を調べたことで、単純なキーワードによるフィルタリングを超えて、本当にリスクの高い兆候を見分けるための「信号の強い指標」を抽出できたとしています。膨大な実運用データを土台に、何を危険とみなすかの基準を磨き込んでいる点が特徴です。

Gemini Sparkにリアルタイム監視を導入

この取り組みは研究にとどまりません。DeepMindは、エージェント「Gemini Spark」向けに、リアルタイムの監視システムを構築しました。これにより、たとえば「意図しないデータ削除」のような問題が起きた際に、その場で即座に対応できるようになっています。

興味深いのは、フラグが立った事象の大半が、敵対的な意図によるものではなかったという指摘です。多くはエージェントが状況を「誤解」した結果として生じていました。つまり、悪意ある攻撃だけでなく、エージェント自身の取り違えによる事故を防ぐうえでも、こうした監視が効いてくるということです。

防御を支える4つの柱

AI Control Roadmapは、いくつかの柱で構成されています。1つ目は脅威モデリングで、信頼できないAIエージェントを「内部脅威（インサイダー脅威）」として捉え、MITRE ATT&CKフレームワークを用いて整理します。社外からの攻撃と同じ枠組みで、社内のエージェントのリスクを扱う発想です。

2つ目は検知と対応で、信頼できるAIの「監督役」がエージェントの推論や行動を見張り、有害な操作をブロックできるようにします。3つ目はパフォーマンス指標で、カバレッジ・再現率（recall）・対応までの時間といった尺度で防御の効きを測ります。そして4つ目がスケーラブルな防御で、検知回避や攻撃遂行に関するモデルの能力に応じて、セキュリティの強度を調整していきます。

開発者・運用者への影響

AI Control Roadmapが示すのは、自律的なAIエージェントを本番で動かす時代には、「賢く正しく振る舞うはず」という期待だけに頼れない、ということです。整合が不完全でも安全を保てるよう、監視・検知・対応をシステム側に作り込む——その設計思想を、自社のエージェント基盤を持つ大手が具体的な実装とともに示した意味は小さくありません。

社内でコーディングエージェントや自律エージェントの導入を進めているチームにとっては、エージェントの行動ログを後から点検し、疑わしい挙動を人間のレビューへ回す仕組みが現実的な打ち手になります。敵対的な攻撃だけでなく、エージェントの「誤解」による事故も監視対象に含める視点は、運用設計の参考になりそうです。