0:00 0:00
記事
Ai2が新ベンチマーク「StateBench」を公開——長文の状態追跡を4段階で評価、最先端モデルも難問では正答率13%以下
Ai2が、長い文書の中で変化していく情報をLLMがどれだけ正しく追えるかを測るベンチマーク「StateBench」をHugging Face Blogで公開しました。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Lunaも、難しい段階では入力が長くなるほど正答率が大きく下がりました。
Ai2(Allen Institute for AI)は、Hugging Faceの公式ブログで、長い文書の中で状態が変化していく情報を言語モデルがどれだけ正確に追跡できるかを測るベンチマーク「StateBench」を公開しました。評価の結果、Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaといった最先端のモデルでも、難しい種類の状態追跡では入力が長くなるにつれて精度が大きく落ちることが分かりました。
「状態追跡」とは何か
状態追跡は、多くのタスクの土台になる能力です。プログラムを読むときには、変数に値が代入され、さらに再代入されていく流れを追う必要があります。物語を読むときも、登場人物の移動や物の受け渡しを把握していなければ話についていけません。Ai2は、推理小説で殺人の直前に「ジョンがメアリーにナイフを渡した」と書かれていれば、各人物の状態が変わったと理解することが重要になる、という例を挙げています。
ただし、状態追跡の難しさは一様ではありません。最新の更新を見つけるだけで済む問題もあれば、更新の連鎖をたどらなければ解けない問題もあります。既存のテストは最も難しいケースに偏りがちだったため、Ai2はさまざまな難しさの問題を体系的に測れるベンチマークを作りました。
変数の代入にたとえた4つの難易度
StateBenchは4つの難易度で構成され、段階が上がるほど複雑な状態の更新が許されます。プログラマー向けには、変数への代入の種類として理解できると説明されています。
| 難易度 | 代入のイメージ | 日常での例 |
|---|---|---|
| R-trivial | let x = 4のように一度決めたら変わらない | 生年月日 |
| Aperiodic | x = 4の後にx = 2と上書きし、最新の値だけが重要 | エアコンの設定温度 |
| Soluble | x = x + 5のように現在の値を元に更新する | ゲームの得点 |
| General finite | x = yや値の入れ替えのように、他の変数の値を参照する | 5つのカップを入れ替えるマジック |
この階層は、有限モノイドの語の問題を基本的な要素に分解する代数学のクローン・ローズ理論に基づいています。公平に比べるため、同じ変数の数と同じ代入のタイミングを保ったまま、代入の種類だけを変えて4段階の問題を作っています。

画像引用元: Hugging Face Blog
最先端モデルでも難問は正答率13%以下
Ai2は、4つの最先端モデルに代入の列を読ませ、すべての変数の最終的な値を答えさせました。4モデルともR-trivialとAperiodicでは好成績でしたが、SolubleとGeneral finiteでは入力が長くなるにつれて正答率が急落し、最も長いGeneral finiteの問題では13%以下になりました。
Ai2は、その一因として「感度」の高さを挙げています。難しい段階では最終的な答えに影響する手順がずっと多くなるため、1つの更新を見落とすだけで答えを間違えてしまいます。学習データやコンテキスト長が公開されているオープンなモデルでも傾向は同じでした。トランスフォーマー型のOlmo 3と、Gated DeltaNet層を加えたOlmo Hybridの7Bモデルなどを試したところ、ほぼすべてがR-trivialでは高得点だった一方、Aperiodicでは入力が長くなるにつれて精度が落ち、General finiteでは偶然と同じ水準にとどまりました。
直接学習させるとアーキテクチャの差が鮮明に
次にAi2は、苦戦の原因がアーキテクチャそのものの限界なのか、事前学習で学ぶ機会がないだけなのかを調べました。2.75億パラメータのトランスフォーマー、ハイブリッド、Gated DeltaNetの各2種類をStateBenchでゼロから学習させ、最大256回の代入で学習したモデルを、その250倍にあたる最大6万4000回の代入でテストしています。
結果は明確でした。Gated DeltaNetとハイブリッドのモデルは、R-trivial、Aperiodic、Solubleの3段階で、数万回の代入までほぼ完璧に汎化しました。トランスフォーマーは易しい段階は学べたものの、長くなると性能が落ち、General finiteは一度も学習できませんでした。最難関の段階では、メモリ更新の自由度が高いGated DeltaNetが、学習時の約10倍の長さまでほぼ完璧な精度を保っています。
長文処理を使う開発者への示唆
Ai2は、Gated DeltaNetやハイブリッドで見られた差は「アーキテクチャではなく学習の問題」であり、直接学習させれば事前学習モデルにできなかった段階も扱えるようになると結論づけています。一方で、新しい登場人物や物が途中で増えていく長い会話のように、変数の数が変わる状況はまだ評価できていないという課題も明記しました。
LLMで長いログや契約書、コードの変更履歴を扱うアプリを作っている開発者にとっては、モデルに「最新の値を探させる」処理と「更新を積み重ねて計算させる」処理を分けて考える必要があることを示す結果です。残高の累計や在庫の入れ替えのような処理は、プログラムで状態を管理してモデルに渡すなど、設計段階で役割を切り分けておくと失敗を減らせるでしょう。
StateBench: Testing how language models track state changes over long documents
A Blog post by Ai2 on Hugging Face