記事

NVIDIA、AIエージェント「Astra」でロボット・自動運転のシミュレーションを自動構築

NVIDIAが、フロンティアAIエージェント「Astra」とOmniverseライブラリを組み合わせてシミュレーションアプリを作る事例を公開しました。倉庫のヒューマノイドロボットから自動運転のテスト環境、ISSのブラウザ表示まで、自然言語の指示だけで構築した6つの実例が紹介されています。

NVIDIAは公式ブログで、フロンティアAIエージェントとOmniverseライブラリを組み合わせてシミュレーションアプリケーションを構築する事例をまとめて公開しました。開発者が自然言語でAIエージェントに指示を出し、結果を確認しながら修正を重ねることで、アセットの用意から物理演算、レンダリングまでを短時間で組み上げられるようになってきているとしています。紹介されている事例には、ロボット工学やシミュレーション分野の実務者が、社内プロジェクトで実際に使ったワークフローが並んでいます。

倉庫のヒューマノイドロボットを指示だけでシミュレーター化

最初の事例は、倉庫作業を想定したヒューマノイドロボットのインタラクティブシミュレーターです。NVIDIAでOmniverseのプロダクトマネージャーを務めるFrank DeLise氏は、AIエージェント「Astra」に指示を出し、SimReady形式の倉庫とヒューマノイドロボットのアセットを、一人称・三人称視点で操作できるシミュレーターへと仕立てました。物理演算（ovphysx）、シーン更新（ovstage）、レンダリング（ovrtx）、ユーザーインターフェース（ovui）という複数のOmniverseライブラリをAstraが自動的に連携させ、アニメーションとアプリケーションコードまで生成したといいます。

サンフランシスコを再現した自動運転テスト環境

自動運転の検証では、NVIDIAのシミュレーション技術チームでマネージャーを務めるDoyub Kim氏が、サンフランシスコのMarket Streetを再現した再利用可能なテスト環境「Zero to Alpamayo」をAstraと組み上げました。アセット作成、交通シミュレーション、Omniverse RTXによるセンサーシミュレーション、走行モデルという複数の工程を段階的に接続し、各ステップの統合を確認しながら進めたとのことです。さらに天候や照明条件を変えた映像を使う「Cosmos3-Nano」の実験も併用し、同じシナリオでも条件が変われば走行モデルの挙動がどう変わるかを比較できるようにしています。

4分割された画面に、倉庫内のヒューマノイドロボット操作画面、ロボットアームの関節部分、トラックを走る複数のヒューマノイドロボット、オフィス風の室内シーンが並ぶシミュレーション画面

画像引用元: NVIDIA Blog

実測センサーとの差分からデジタルツインを磨く

RTXセンサーの検証を担当するAshley Reid氏は、AstraとClaude Fable 5の両エージェントに指示し、Omniverseのカメラ・LiDAR出力を実際の計測データと比較させました。約3日間にわたり、エージェントが差分を測定してはOpenUSDシーンを修正し、結果を再チェックするという反復ワークフローを繰り返し、欠けていたオブジェクトや形状、マテリアルを補正していったといいます。カメラとLiDARの指標を基準に修正の採否を判断する仕組みで、実測値に基づいてデジタルツインの精度を高める手法として紹介されています。

100回中64回クリア——「ロボ五輪」でヒューマノイドの運動性能を鍛える

Omniverseのエンジニアリングとプロダクトを統括するTae Kim氏は、スポーツ映像と自然言語の指示をAstraに与え、Unitree G1ヒューマノイドにスポーツの動きをさせる実験プロジェクト「Robo Olympics」を構築しました。Newton Physics Engineで物理演算を行い、オープンソースのNVIDIA Warpで計算を高速化、ovrtxでシーンと仮想カメラ映像をレンダリングする構成です。ある実験では、ロボットが100回中64回のシミュレーション試行でハードルを越えることに成功しており、この結果をもとにタイミングや制御の改善点を洗い出したとしています。

分解作業の可否もCADとシミュレーションで事前検証

OpenUSDのシニアプロダクトマネージャーJens Jebens氏は、車のサスペンションをPTC Onshape上でモデリングし、NVIDIA Isaac Simに設定する作業をAstraに依頼しました。Astraはロボットがボルトに届くための空間を測定し、取り外しに使うレンチの形状を設計、シミュレーション上でサスペンション部品の取り外しに成功したと報告されています。設計・治具の検討を分解作業の結果に直結させる手法として、ロボットの動作方針を学習させる際の出発点になるとしています。

日本の開発者にとっての意味

これらの事例に共通するのは、物理エンジンやレンダリングAPIを個別に呼び出すのではなく、達成したい結果を自然言語で伝えるだけで、複数のOmniverseライブラリの連携までエージェントに任せられる点です。国際宇宙ステーションのテレメトリ付きブラウザアプリを単一プロンプトで組み上げた事例も紹介されており、プロトタイピングの敷居はさらに下がりつつあります。ロボティクスや自動運転の検証環境を内製している国内のチームにとっても、シミュレーション構築にかかる工数を大きく圧縮できる可能性があり、今後公開が予告されている追加事例にも注目しておきたいところです。