MF Blogs 便利ツール
緑色に光る地球儀のような球体から、道路のグリッドやLiDARの点群、カメラ、ロボットアームへ点線が伸びているイラスト

記事

NVIDIA Cosmos Framework、世界モデルの学習から推論までを一本化——自動運転・ロボット・手術の4種シミュレーションを用意

NVIDIAが技術ブログで、フィジカルAI向け世界モデルの開発基盤Cosmos FrameworkとCosmos NIMの使い方を解説しました。Cosmos 3 Nanoのシミュレーション用チェックポイントで、カメラ映像とLiDARを同期して生成でき、NIMでは投機的デコーディングにより推論を2〜3倍高速化します。

0:00 0:00

NVIDIAは、フィジカルAI向けの世界基盤モデル群Cosmosを使って、インタラクティブなシミュレーションを構築する方法をNVIDIA Technical Blogで公開しました。学習・強化学習・最適化・推論をまとめて扱うオープンな開発基盤「Cosmos Framework」と、推論を高速化するコンテナ「Cosmos NIM」の2つを軸に、自動運転やロボット、手術といった分野で世界モデルを動かす手順を示しています。

世界モデル開発の2つの壁に対応

NVIDIAは、世界モデルを扱うフィジカルAIの開発者が直面する課題として「自社のセンサーやタスク、データにモデルを合わせ込むこと」と「そのモデルをアプリケーションに確実に組み込むこと」の2つを挙げています。Cosmos Frameworkが前者を、Cosmos NIMが後者を担う構成です。

Cosmos Frameworkは完全にモジュール化されたオープンなフレームワークで、Cosmos 3だけでなく、自動運転向けのNVIDIA Alpamayo、人型ロボット向けのGR00T、Qwen、pi0.5など、Hugging Face上の互換モデルにも対応範囲を広げています。テキスト、画像、動画、音声、行動データでの学習に対応し、LoRAによる軽量な追加学習とフルの教師ありファインチューニングの両方を選べます。

強化学習とエージェント向けスキルを拡充

今回の更新では、オンライン・オフラインの強化学習パイプラインが加わりました。オフラインの選好最適化であるDPO、オンライン強化学習のGRPOとPPO、教師モデルからのオンポリシー蒸留OPD、拡散型世界モデル向けのDiffusionNFTなどに対応しています。学習済みのモデルは、PyTorch、vLLM、SGLang、Hugging Face Diffusers、TensorRT-LLM、NVIDIA NIMなどで実行できます。

もう一つの特徴が、AIエージェント向けの「スキル」です。セットアップ、推論、追加学習、トラブルシューティングのスキルが.agents/skillsに収められており、開発者は「このデータセットでこのレシピを使って追加学習し、GPU時間が上限に達したら止めて評価する」といった範囲の決まった作業を、エージェントに任せられるようになっています。

Cosmos 3 Nanoのシミュレーション用モデル

シミュレーション向けには、Cosmos 3 Nanoをベースにしたチェックポイントが公開されています。NVIDIAのHopperおよびBlackwell世代のGPUでテスト済みで、PyTorchとvLLM-Omniに対応します。主なモデルは次のとおりです。

モデル用途
Cosmos3-Nano-Transfer-Auto7台のカメラ映像とLiDARを同期生成。天候や時間帯を変えた合成データ作成向け
Cosmos3-Nano-Sim-Auto上記を少ステップに蒸留した因果型モデル。運転ポリシーと組み合わせた閉ループ評価向け
Cosmos3-Nano-Sim-Transfer / Sim-Bimanual深度映像からのRGB映像生成や、双腕ロボットの次の視界を生成
Cosmos3-H-Embodied-Nano / H-Dreams手術ロボットの動作から手術映像を生成し、ポリシーをリアルタイムで検証

Transfer-Autoは30fpsで最大400フレーム、480pまたは720pの映像に対応し、プロンプトを変えるだけで、同じ道路配置と車両の軌跡を保ったまま昼の走行を雨の夜に変えるといった使い方ができます。

自動運転車の周囲を撮影した複数のカメラ映像が並び、中央にLiDAR点群の俯瞰図が表示されている画面

画像引用元: NVIDIA Technical Blog

閉ループ評価で運転ポリシーを検証

Sim-Autoでは、運転ポリシーや人間の操作がシナリオを更新するたびに、World Scenario Map(WSM)と呼ばれる道路地図の描画を介して、カメラとLiDARの観測を少しずつ生成していきます。生成した観測は再びポリシーに戻されるため、実車を走らせることなく、ポリシーの判断とその結果の映像がつながった閉ループの評価ができます。

運転ポリシーAlpamayoとユーザーの操作がシミュレーション実行環境AlpaSimへ渡り、Cosmos3-Nano-Sim-Autoが生成したカメラ映像がポリシーへ戻る流れを示した図

画像引用元: NVIDIA Technical Blog

手術分野では、組織の変形や複雑な物理現象を従来型のシミュレーターで再現するのが難しいという課題があります。Cosmos3-H-Dreamsは、手術映像とロボットの運動学データから映像の変化を直接学習しており、物理モデルを作り込まなくても、実機で試す前にポリシーの挙動を確かめられるとしています。

Cosmos NIMで推論を2〜3倍高速化

運用面では、新しいCosmos NIMが最適化済みのコンテナとして提供されます。量子化、投機的デコーディング、キャッシュ、トークンの枝刈り、KVキャッシュを考慮したルーティングを組み合わせ、投機的デコーディングではH200で平均2〜3倍の高速化を確認したとしています。ライブ映像をストリーミングで理解する機能では、遅延を10分の1に抑え、1秒未満でアラートを出せるといいます。

NIMは、1件のリクエストを早く終わらせる「latency」と、多数のリクエストをまとめて処理する「throughput」の2つのプロファイルを切り替えられます。必要なGPUメモリはモデルとタスクによって異なり、Cosmos3-Nanoによる生成ではBF16で58GiB、オフロードを使ったFP8で44GiBが目安です。

開発者が今すぐ試せること

今回の記事は、公開済みのチェックポイントを使ってすぐに試せる手順が中心です。自動運転向けの合成データ作成であれば、Transfer-Autoのサンプル設定から7台分のカメラ映像とLiDARを再現し、自社の車両に合わせたカメラ配置へ調整していく流れになります。ロボットや手術の分野でも、まずは公開されている参照ワークフローを再現し、そこから自社のセンサーや行動空間、データに合わせて追加学習するという進め方が推奨されています。

NVIDIAは11月5日(米国時間)に、Cosmos Frameworkの使い方を解説するライブ配信を予定しています。シミュレーション用のデータ不足に悩んでいるチームや、実機テストのコストを下げたいチームにとっては、自社のGPU環境で動くかどうかを早めに確認しておく価値がありそうです。