MF Blogs 便利ツール
サーバーラックが並ぶ暗いデータセンターの床に置かれた台座の上で、緑色に光る球体がネットワークの線とつながっているイメージ

記事

NVIDIA Dynamoを検証済みレシピでKubernetesに:AICRが推論基盤の構築を5ステップに整理

NVIDIAは分散推論フレームワーク「Dynamo」をKubernetesで動かすための基盤を、AI Cluster Runtime(AICR)の検証済みレシピとして提供する手順を公開しました。2つのルーティング経路の違いと、スナップショットから検証までの5ステップを紹介します。

0:00 0:00

NVIDIAは10月30日、分散推論フレームワークNVIDIA DynamoをKubernetes上で動かすための基盤を、NVIDIA AI Cluster Runtime(AICR)の「検証済みレシピ」として構築する手順を技術ブログで公開しました。GPUドライバーからスケジューリング、監視までの依存関係をバージョン固定のレシピにまとめ、アプリをデプロイする前に基盤が正しく動くかを確かめられるようにしています。

モデルを動かす前に立ちはだかる「下の層」

Dynamoは、複数のGPUワーカーにまたがってモデルの推論を協調させるフレームワークです。Kubernetes上では、DynamoGraphDeploymentというリソースでvLLMやSGLang、TensorRT LLMをどのPodでどう動かすかを定義します。

ただしNVIDIAは、このグラフはスタックの最上部にすぎないと説明しています。実際の推論クラスタでは、ノードに合ったドライバーを含むGPU Operatorが入っているか、Dynamic Resource Allocation(DRA)でGPUが見えているか、ギャングスケジューリング(関連するPodをまとめて配置する仕組み)が効くか、劣化したノードを事前に検知できるか、Prometheusでメトリクスを取れるかといった条件をすべて満たす必要があります。こうした依存関係の解決に時間を取られ、肝心のモデルの挙動や性能の検証が後回しになりがちだというのが、AICRが生まれた背景です。

AICRはDynamoと基盤を「レシピ」にまとめる

AICRは、NVIDIAがAIファクトリー向けに展開する「NVIDIA DSX AI Factory Platform」に含まれるオープンソースのコンポーネントです。レシピには特定の環境とワークロード向けの構成が記述され、コンポーネントのバージョン、互換性の制約、検証項目、ノードセレクターやtoleration、チェックサムまでが記録されます。

AICRが同梱するdynamo-platformチャートはバージョン1.4.2で、Dynamoのオペレーターやランタイムイメージに加え、nvidia.com/v1beta1のDynamoGraphDeployment CRDが含まれます。従来のv1alpha1はv1beta1に置き換えられました。また、Dynamo 1.4からはフロントエンドやワーカーなどのサービスがKubernetesのリソースを通じて互いを発見するようになったため、AICRの標準構成ではNATSを使わなくなりました。必要な場合はオプトインで有効にできます。

クライアントからKubernetes Service、Dynamo Frontend、vLLMワーカーへとリクエストが流れ、ワーカーのKVキャッシュイベントが点線でフロントエンドに戻る構成図

画像引用元: NVIDIA Technical Blog

KVキャッシュを意識した2つのルーティング経路

エージェント型のワークロードでは、システムプロンプトやツール定義、会話履歴といった長いトークンの接頭辞が何度も繰り返されます。その接頭辞をGPUメモリに持っていないワーカーにリクエストが届くと、計算をやり直す必要が出てきます。Dynamoは、関連するKVブロックをすでに持つワーカーへリクエストを振り分けることでこの無駄を減らします。Dynamo 1.4.2では、リクエストの経路にTCP、KVキャッシュのイベント通知にZMQを使う構成です。

Kubernetes上では、次の2つのルーティング経路を選べます。

項目Dynamo FrontendルーターGateway API Inference Extension(GAIE)+EPP
ワーカーの選択FrontendがKVの重なりと負荷で選ぶDynamo EPPがKVルーターで選ぶ
ワーカーへの転送Dynamo FrontendGateway側のHTTPプロキシ
向いているケースアプリチームがモデル専用のエンドポイントを持つプラットフォームチームが共有のイングレスを管理する
構成の規模最小構成で、本番実績が最も多いGatewayとEPPのコンポーネントが追加で必要

NVIDIAによると、Dynamo 1.5ではGo製のEPPフレームワークとCGOによる橋渡しを、ネイティブのRust製EPPに置き換える予定です。リクエストごとのEPPのオーバーヘッドも減るとしています。

スナップショットから検証までの5ステップ

AICRは、基盤の構築とアプリのデプロイを切り離して進めます。手順は次の5つです。

  1. クラスタのスナップショットを取得する
  2. スナップショットをもとにDynamo推論用のレシピを生成する
  3. レシピをHelmのvaluesやマニフェストを含むデプロイ用バンドルに変換する
  4. Helmfile、またはArgo CDやFluxなどのGitOpsで基盤をデプロイする
  5. 導入した基盤を検証してから、アプリのDynamoGraphDeploymentを入れる

たとえばAmazon EKS上のGB200 NVL72/GB300 NVL72向けレシピでは、AICR v1.0.0が組み合わせを検証済みのHelmチャートのバージョンを自動で選びます。性能の検証はGPUを占有する一時的なワークロードを使うため、デプロイや適合性の検証とは別に実行する設計です。

推論基盤を担当するチームへの影響

社内でLLMの推論基盤を運用しているチームにとって、GPUドライバーやスケジューラー、監視ツールのバージョンの組み合わせをどう保証するかは悩みの種です。AICRのレシピを使えば、NVIDIAが一緒に検証したバージョンの組み合わせを出発点にでき、さらに「アプリを入れる前に基盤を検証する」という手順を標準化できます。

一方で、Dynamo 1.4ではNATSが既定から外れ、CRDもv1beta1に変わっています。既存の環境でv1alpha1のマニフェストやNATS前提の設定を使っている場合は、移行時に見直しが必要になりそうです。NVIDIAはKubeCon + CloudNativeCon North AmericaでAICRのハンズオンも予定しているため、エージェント向けの推論基盤を検討しているなら、まずはレシピの中身を読んでおくとよいでしょう。