MF Blogs 便利ツール
暗い背景にオレンジ色の線で描いた指紋の模様と、チェックマーク入りの白い認証シールが並んだイラスト

記事

Anthropic、AIの出力が「どのモデルによるものか」を暗号で証明する「FlashProve」を研究中——モデルのすり替えを検出

Anthropicが、ある出力が特定のAIモデルから生成されたことを暗号学的に証明するオープンソースのシステム「FlashProve」に取り組んでいるとTechCrunchが報じました。モデルの重みを明かさずに公開できる「指紋」を使い、安価なモデルへの密かな差し替えなどを防ぐ狙いです。

0:00 0:00

Anthropicが、AIが生成した出力がどのモデルによるものかを検証できるオープンソースのシステム「FlashProve」の研究を進めていると、TechCrunchが報じました。現地時間11月3日に公開された研究ブログで明らかにされたもので、ユーザーが受け取った回答が、本当に自分の使っているつもりのモデルから出てきたものかを確かめられるようにする仕組みだと伝えています。

「証明可能な推論」で出力の出どころを保証する

TechCrunchによると、FlashProveは研究者が「provable inference(証明可能な推論)」と呼ぶ仕組みを提供するものです。ある出力が特定のモデルから生成されたことを、暗号を使った証明、つまり数学的な保証として示します。モデルを提供する企業の言い分に頼らず、出力を受け取った側が自分で確かめられるようにする点が特徴です。

仕組みは、メールの送信者が本人であることを受信者が確かめられる電子署名に近いと説明されています。あるモデルを別のモデルに見せかけようとする「なりすまし」に対しても強く、その相手がモデルを開発・運用しているAI企業自身であっても見破れるように設計されていると報じています。

想定される3つの使いみち

記事で紹介されている用途は、大きく次の3つに分けられます。

用途防ぎたいこと
モデルの差し替え検出AI企業がコスト削減のために安いモデルを密かに使う、あるいは性能を良く見せるために高価なモデルに差し替える
第三者の主張の検証「最先端のセキュリティモデルで脆弱性を検査した」「適切なモデルが事業計画を承認した」といった主張の真偽を確かめる
利用者自身の確認受け取った回答が、選んだモデルから本当に出力されたかを手元で確かめる

研究者は、「開発者が自分のソフトウェアライブラリを最先端のサイバーセキュリティモデルで検査したと主張するかもしれない。ユーザーはその主張をどう検証すればいいのか」と問題提起しているとTechCrunchは伝えています。

オレンジ色のバイオハザードマークを背景に、Claudeのロゴが表示されている画面の写真

画像引用元: TechCrunch(Image Credits: Samuel Boivin/NurPhoto / Getty Images)

重みを明かさない「指紋」がカギ

FlashProveを機能させるには、AI企業がリリースするモデルごとに「指紋」を公開する必要があります。この指紋を後から個々の出力と照合し、暗号学的に検証する流れです。

重要なのは、この指紋からモデルの重みが分からない点だと報じられています。重みはモデルの振る舞いを決める内部の数値で、AnthropicやOpenAIのようにクローズドなモデルを提供する企業が非公開にしている、最も価値のある資産です。指紋を公開しても重みを明かさずに済むため、商用モデルにも適用できる可能性があります。また、システムは軽量に作られており、検証を手元の端末で実行できるようにする狙いもあるとしています。

いまは提供元の説明を信じるしかない

現在、APIでLLMを使う開発者が「どのモデルが応答したか」を知る手段は、基本的に提供元が返すモデル名などの情報に限られます。応答の文体や速度から推測することはできても、裏で別のモデルに切り替えられていた場合に、それを利用者側で確かめる方法はほとんどありません。

FlashProveが狙うのは、この部分を「信頼」から「検証」に置き換えることです。電子署名が普及したことで、メールやソフトウェアの配布元を受け手が確かめられるようになったのと同じように、AIの出力にも出どころを示す証明を付けられるようになれば、モデルの性能比較や外部への説明責任の果たし方も変わってくるはずです。一方で、すべての出力に証明を付けるとなれば計算の負担も無視できないため、軽量さを重視した設計がどこまで実用に耐えるかが今後の焦点になりそうです。

実運用の予定はまだなし

研究チームは、詳細な技術仕様と、システムの各要素を動かすコードを、オープンソースライセンスでGitHubに公開しました。一方で研究は進行中で、Anthropicを含むどのAI企業でも導入の予定はないとTechCrunchは伝えています。研究者は今回の公開を「完成した研究計画ではなく途中経過の共有」と位置づけ、ほかの人が手を加えて改良してくれることを期待していると述べています。

API経由でLLMを業務に組み込んでいる企業にとって、「契約したモデルが本当に使われているか」は、これまで提供元の説明を信じるしかない部分でした。すぐに使える仕組みではありませんが、監査やコンプライアンスの観点でAIの利用記録を残しているチームは、将来こうした証明を記録に添える形になる可能性を頭に入れておくとよいでしょう。GitHubで公開された仕様とコードは誰でも読めるため、関心のある開発者は検証の仕組みを先に確かめておけます。