MF Blogs 便利ツール
深緑の床に置かれた白い線の立方体の枠の中で、白いロボットアームが小さなブロックをつかもうとしている3DのCG画像

記事

Ai2がロボット学習の実験場「ToyBlocks」を公開——8万5000件超のデモと2つの学習済みモデル

Ai2が、ロボットアームと積み木だけの制御された仮想世界でロボット学習を研究するためのオープンなフレームワークToyBlocksを公開しました。デモの自動生成、学習、評価を1つにまとめ、シミュレーションだけで学習したモデルを実機でも検証しています。

0:00 0:00

非営利のAI研究機関Ai2(Allen Institute for AI)は2026年11月6日、ロボット学習を研究するためのオープンなシミュレーションフレームワーク「ToyBlocks」をHugging Faceのブログで公開しました。1本のロボットアームと机の上の積み木だけという、あえて単純にした世界で、学習データやモデルの設計を変えたときにロボットの振る舞いがどう変わるかを再現性のある形で調べられるようにしたものです。

「ペトリ皿」のような実験環境をロボットに

Ai2は、洗濯物をたたんだり部品を仕分けたりするロボットのデモは増えているものの、その多くは範囲が狭く、ロボットが何を学び、なぜ失敗したのかまでは説明できないと指摘しています。生物学者がペトリ皿のような小さな環境で条件を変えて観察するように、ロボット研究にも、データやモデルを変えてテストを繰り返し、失敗の原因をたどれる環境が必要だという考え方です。

そこでAi2は、特定の領域を対象にした制御可能な仮想世界と、タスクやデモの自動生成ツール、振る舞いを測る指標を組み合わせた「FoundationWorlds」という枠組みを提唱しました。ToyBlocksはその最初の例です。積み木の面には文字や絵が描かれていて、押す、ひっくり返す、積むといった操作に加え、隠れた面を確かめてから並べ方を決めるような、推論が必要な課題も作れます。

木製の積み木が並ぶ机の上で、黒いロボットのグリッパーがブロックをつかもうとしている実機の写真

画像引用元: Hugging Face Blog(Ai2)

デモを自動生成し、1基のGPUで実時間の24倍

ToyBlocksの特徴は、人がロボットを遠隔操作して集めていたデモを自動で作れる点です。押す、ひっくり返すといった短い動作のスキルは、NVIDIAのオープンソースのロボット学習基盤Isaac Lab上で、強化学習とモーションプランニングによって獲得します。そのうえで、タスクとモーションのプランナーがスキルを並べて課題を解く計画を立て、シミュレーションで実行した結果をデモとして記録します。

この計画を1基のGPUで数百件並列に実行し、実時間の最大24倍の速さでデータを生成できるといいます。特定のスキルのデモを増やしたり、学習に使わなかった課題で評価したりといった実験も簡単に組めます。評価では成功率だけでなく、実行速度や物体にかかる力、課題の進み具合も記録されます。Webの画面からClaudeなどの大規模モデルをつなぎ、自然な言葉でロボットに指示を出すこともできます。

ToyBlocksで試された主な実験

Ai2はToyBlocksを使った初期の研究結果も公開しています。主なものを整理すると、次のとおりです。

実験Ai2が報告した主な結果
VLAの空間的な汎化ManiFlow、π0.5、MolmoAct 2は大規模な事前学習にもかかわらず当初の汎化が弱く、手法の工夫で改善
大規模モデルによるエージェント積み木で単語をつくる課題で63%を解くか不可能と正しく判断。似た文字の取り違えと向きの誤りが主な失敗
スキル説明の自己学習エージェントが実験から書いた説明で成功率が24%から63%に向上し、専門家の説明(36%)を上回った
世界モデルの比較Wan 2.2がブロックの動きと結果を最も正確に予測。生成した軌跡の追加で未学習領域の成功率が19%から78%に
実機への移行ManiFlowの基本スキルの成功率はシミュレーション80.0%、実機81.1%とほぼ同等

高レベルの計画に視覚言語モデルのMolmo 2、低レベルの動作にManiFlowを組み合わせた階層型のシステムは、シミュレーションで55.5%、実機で50.0%の課題を成功させたとしています。ただし実機は30回の試行で、Ai2自身も統計的な確度を得るにはさらに試行が必要だと述べています。

シミュレーションから実機へ

実機での実験には、Franka FR3のアームとRobotiqのグリッパーを使い、30通りの配置で検証しました。シミュレーションとの差を埋めるため、データ生成の前に関節の摩擦などを実機の軌跡に合わせて調整し、生成時にはブロックの大きさや摩擦、照明、背景、カメラの設定をランダムに変えています。推論時には、カメラ画像から推定した奥行きの情報を使い、ノイズの多い深度センサーには頼らない工夫も入れました。

公開されたのは、シミュレーション用のアセット、タスクとデモの生成器、自動生成したデモ、Molmo 2ベースとManiFlowベースの2つの学習済みモデル、学習と評価のコードです。最初のデータセットには8万5336件の長いデモが含まれ、ロボットの実行時間は約1600時間、フレーム数は1億4400万に上ります。数週間後には、より大きなデータセットや強化学習の統合機能を含む第2弾を出す予定だといいます。

ロボット研究と開発の現場への意味

ToyBlocksが示しているのは、現実の複雑さをいったん捨てて、条件を細かく変えられる環境で地道に原因を探るという研究の進め方です。大規模な事前学習をしたVLAでも、配置が変わるだけで性能が落ちるという結果は、デモ動画の印象だけでモデルを選ぶことの危うさも教えてくれます。

ロボット向けのモデルを評価したり自社データで調整したりしているチームにとっては、学習データの配分を変えたときの影響を安く試せる実験台として使えそうです。コード、データ、モデルはすでに公開されているため、まずは公開済みの2つのモデルを手元のシミュレーションで動かし、自分たちの課題に近いタスクを追加してみるところから始められます。