0:00 0:00
記事
NVIDIA Dynamoを検証済みレシピでKubernetesに:AICRが推論基盤の構築を5ステップに整理
NVIDIAは分散推論フレームワーク「Dynamo」をKubernetesで動かすための基盤を、AI Cluster Runtime(AICR)の検証済みレシピとして提供する手順を公開しました。2つのルーティング経路の違いと、スナップショットから検証までの5ステップを紹介します。
NVIDIAは10月30日、分散推論フレームワークNVIDIA DynamoをKubernetes上で動かすための基盤を、NVIDIA AI Cluster Runtime(AICR)の「検証済みレシピ」として構築する手順を技術ブログで公開しました。GPUドライバーからスケジューリング、監視までの依存関係をバージョン固定のレシピにまとめ、アプリをデプロイする前に基盤が正しく動くかを確かめられるようにしています。
モデルを動かす前に立ちはだかる「下の層」
Dynamoは、複数のGPUワーカーにまたがってモデルの推論を協調させるフレームワークです。Kubernetes上では、DynamoGraphDeploymentというリソースでvLLMやSGLang、TensorRT LLMをどのPodでどう動かすかを定義します。
ただしNVIDIAは、このグラフはスタックの最上部にすぎないと説明しています。実際の推論クラスタでは、ノードに合ったドライバーを含むGPU Operatorが入っているか、Dynamic Resource Allocation(DRA)でGPUが見えているか、ギャングスケジューリング(関連するPodをまとめて配置する仕組み)が効くか、劣化したノードを事前に検知できるか、Prometheusでメトリクスを取れるかといった条件をすべて満たす必要があります。こうした依存関係の解決に時間を取られ、肝心のモデルの挙動や性能の検証が後回しになりがちだというのが、AICRが生まれた背景です。
AICRはDynamoと基盤を「レシピ」にまとめる
AICRは、NVIDIAがAIファクトリー向けに展開する「NVIDIA DSX AI Factory Platform」に含まれるオープンソースのコンポーネントです。レシピには特定の環境とワークロード向けの構成が記述され、コンポーネントのバージョン、互換性の制約、検証項目、ノードセレクターやtoleration、チェックサムまでが記録されます。
AICRが同梱するdynamo-platformチャートはバージョン1.4.2で、Dynamoのオペレーターやランタイムイメージに加え、nvidia.com/v1beta1のDynamoGraphDeployment CRDが含まれます。従来のv1alpha1はv1beta1に置き換えられました。また、Dynamo 1.4からはフロントエンドやワーカーなどのサービスがKubernetesのリソースを通じて互いを発見するようになったため、AICRの標準構成ではNATSを使わなくなりました。必要な場合はオプトインで有効にできます。

画像引用元: NVIDIA Technical Blog
KVキャッシュを意識した2つのルーティング経路
エージェント型のワークロードでは、システムプロンプトやツール定義、会話履歴といった長いトークンの接頭辞が何度も繰り返されます。その接頭辞をGPUメモリに持っていないワーカーにリクエストが届くと、計算をやり直す必要が出てきます。Dynamoは、関連するKVブロックをすでに持つワーカーへリクエストを振り分けることでこの無駄を減らします。Dynamo 1.4.2では、リクエストの経路にTCP、KVキャッシュのイベント通知にZMQを使う構成です。
Kubernetes上では、次の2つのルーティング経路を選べます。
| 項目 | Dynamo Frontendルーター | Gateway API Inference Extension(GAIE)+EPP |
|---|---|---|
| ワーカーの選択 | FrontendがKVの重なりと負荷で選ぶ | Dynamo EPPがKVルーターで選ぶ |
| ワーカーへの転送 | Dynamo Frontend | Gateway側のHTTPプロキシ |
| 向いているケース | アプリチームがモデル専用のエンドポイントを持つ | プラットフォームチームが共有のイングレスを管理する |
| 構成の規模 | 最小構成で、本番実績が最も多い | GatewayとEPPのコンポーネントが追加で必要 |
NVIDIAによると、Dynamo 1.5ではGo製のEPPフレームワークとCGOによる橋渡しを、ネイティブのRust製EPPに置き換える予定です。リクエストごとのEPPのオーバーヘッドも減るとしています。
スナップショットから検証までの5ステップ
AICRは、基盤の構築とアプリのデプロイを切り離して進めます。手順は次の5つです。
- クラスタのスナップショットを取得する
- スナップショットをもとにDynamo推論用のレシピを生成する
- レシピをHelmのvaluesやマニフェストを含むデプロイ用バンドルに変換する
- Helmfile、またはArgo CDやFluxなどのGitOpsで基盤をデプロイする
- 導入した基盤を検証してから、アプリのDynamoGraphDeploymentを入れる
たとえばAmazon EKS上のGB200 NVL72/GB300 NVL72向けレシピでは、AICR v1.0.0が組み合わせを検証済みのHelmチャートのバージョンを自動で選びます。性能の検証はGPUを占有する一時的なワークロードを使うため、デプロイや適合性の検証とは別に実行する設計です。
推論基盤を担当するチームへの影響
社内でLLMの推論基盤を運用しているチームにとって、GPUドライバーやスケジューラー、監視ツールのバージョンの組み合わせをどう保証するかは悩みの種です。AICRのレシピを使えば、NVIDIAが一緒に検証したバージョンの組み合わせを出発点にでき、さらに「アプリを入れる前に基盤を検証する」という手順を標準化できます。
一方で、Dynamo 1.4ではNATSが既定から外れ、CRDもv1beta1に変わっています。既存の環境でv1alpha1のマニフェストやNATS前提の設定を使っている場合は、移行時に見直しが必要になりそうです。NVIDIAはKubeCon + CloudNativeCon North AmericaでAICRのハンズオンも予定しているため、エージェント向けの推論基盤を検討しているなら、まずはレシピの中身を読んでおくとよいでしょう。
Build a Validated Kubernetes Runtime for NVIDIA Dynamo
Teams building AI applications need a repeatable path from a model configuration to a working inference endpoint. NVIDIA Dynamo is a distributed inference framework that coordinates model serving…