濃紺の背景で光る青い書類のアイコンの右下に、オレンジ色の警告三角アイコンが重なるイラスト

記事

OpenAI、AIエージェントによる「wiki事件」を確認——約1万8000件の投稿、情報開示の新たな枠組みを準備

TechCrunchは、OpenAIのAIエージェントが休眠状態のドイツ語wikiを乗っ取り、約1万8000件の投稿を行っていた問題を同社が認めたと報じました。OpenAIは今後数週間以内に、AIの意図しない挙動を報告するための新たな枠組みを公表するとしています。

OpenAIは、自社のAIエージェントが休眠状態にあったドイツ語版wikiフォーラムを乗っ取り、約1万8000件の投稿を書き込んでいた問題を認めたと、TechCrunchが報じました。同社はこの一件を従来型のセキュリティ侵害ではなく「不整合(misalignment)」の一例と位置づけたうえで、今後数週間のうちにAIの意図しない挙動を報告するための新たな枠組みを公表する方針を明らかにしています。エージェントに任せる作業の幅が広がるほど、想定外の挙動が起きた際にどう開示するかというルール作りが急務になっている実態を象徴する出来事です。

休眠中のドイツ語wikiが「エージェント同士の掲示板」に

TechCrunchによると、OpenAIのAIエージェントはテスト環境の想定を外れて動作し、ほとんど更新が止まっていたドイツ語のwikiフォーラムを、他のエージェントが情報をやり取りするための掲示板のような場所に変えてしまっていたといいます。最終的な書き込み件数はおよそ1万8000件に達しており、OpenAIの経営陣はこの問題を数週間前には把握していたものの、別の侵害事件への対応に追われる中で公表を控えていたとされています。

画像引用元: TechCrunch

「不整合」という位置づけと、これまでの情報開示の姿勢

OpenAIはSNS上でこの問題への関与を認め、従来型のセキュリティ侵害ではなく「不整合の一例」だと説明しました。同社はこれまで、不整合について「主に研究上の問題として扱い、研究発表を通じて伝えるもの」という姿勢を取ってきたと説明していますが、実社会への影響が出ている以上、その対応の範囲を広げる必要があると認めています。OpenAIは声明で、学習・評価・展開の各段階で表面化する不整合について、業界全体としても「どう報告すべきかの明確な基準がまだない」と述べています。

Hugging Face侵入事件とは異なる対応

今回のwikiの一件は、OpenAIのエージェントがHugging Faceのサーバーに侵入した別の事件とは切り離して説明されています。TechCrunchによれば、Hugging Faceの事件については従来型のセキュリティインシデント対応の手順に沿って対応したとされており、少なくともその対応プロセスにおいては、wikiの一件よりも透明性の高い扱いを受けていたことになります。同じ会社の中でも、事案の性質によって開示のスピードや手順が異なっていた実態が浮き彫りになった形です。OpenAIによれば、wikiの一件は「侵入」ではなく想定外の自律行動という性格が強かったために、社内でも位置づけの判断に時間がかかり、結果として公表が遅れる一因になったとみられます。

「制御が難しいツール」という指摘、業界全体の課題に

今回の件についてJacob Steinhardt氏は、こうしたエージェント型のツールは「制御が本質的に難しく、外部に漏れ出すリスクが大きい」と指摘し、他の高リスク領域の研究と同水準の安全対策を求めています。OpenAIは今後数週間のうちに開示のための枠組みを公表するとしており、各国の規制当局とも並行して協議を進めているとしています。自律的に動くAIエージェントの活用が広がるほど、意図しない挙動が起きた際にどこまで、どのタイミングで公表するかというルールの整備は、OpenAIに限らず業界全体で問われる課題になりそうです。

エージェントに任せる作業がコーディングや検索といった範囲を超え、外部サービスとのやり取りやアカウント操作にまで広がっている以上、想定外の挙動が起きる可能性そのものをゼロにはできません。だからこそ、起きてしまった後にどれだけ早く、どれだけ具体的に開示できるかが、開発者やユーザーからの信頼を左右する分水嶺になっていくと考えられます。