0:00 0:00
記事
NVIDIA DSX OSでGPUクラスターを継続検証——AICR、NVCRE、NVSentinelの3つのOSSで構成
NVIDIAが、Kubernetes上のGPUクラスターを構成、認定、運用するためのオープンソース群NVIDIA DSX OSの使い方を解説しました。バージョン固定のレシピを作るAICR、実ワークロードで性能を検証するNVCRE、障害を検知して修復するNVSentinelを組み合わせ、クラスターの準備状態を継続的に保ちます。
NVIDIAは2026年11月5日、Kubernetes上のGPUクラスターを構成、認定、運用するためのオープンソースのソフトウェア層「NVIDIA DSX OS」の使い方を技術ブログで解説しました。AIファクトリー向けの「NVIDIA DSX AI Factory Platform」を構成する要素で、NVIDIA AI Cluster Runtime(AICR)、NVIDIA Cluster Readiness Engine(NVCRE)、NVSentinelの3つのツールで成り立っています。いずれもApache 2.0ライセンスで公開されています。
1基のGPUが分散学習全体を遅くする
NVIDIAが問題にしているのは、正常に見えるのに性能が出ていないノードです。基本的なヘルスチェックを通り、使用率も普通に見えるGPUが、分散学習ジョブ全体の足を引っ張ることがあります。同期型の学習は最も遅いランクに合わせて進むため、目標をわずかに下回るGPUが1基あるだけで、ジョブ全体が遅くなります。
しかもクラスターの状態は、引き渡し時に検証を通ったあとも変わり続けます。ノードの交換、ドライバーの更新、増設のたびに、最初の認定結果は実態を反映しなくなっていきます。NVIDIAは、使用率ではなく実際に完了した作業量である「グッドプット」で効率を測るべきだとし、そのためには構成の変更後や容量の追加時、修理したノードを戻す前など、運用の全期間で検証を繰り返す必要があると説明しています。

画像引用元: NVIDIA Technical Blog
3つのツールの役割
DSX OSの3つのツールは、クラスターのライフサイクルの各段階を受け持ちます。
| 段階 | ツール | 主な役割 |
|---|---|---|
| 構成 | AICR | ネットワーク、ストレージ、ドライバーなどをバージョン固定のレシピで定義し、既存のデプロイツール向けに出力 |
| 認定 | NVCRE | NCCLの通信テストや学習ワークロードで本番に使えるかを検証し、問題のあるノードを特定 |
| 運用 | NVSentinel | GPU、ノード、ネットワークの状態を監視し、隔離や修復、再検証を調整 |
AICRは、aicr recipeコマンドでクラウドの種類やGPU、OS、用途を指定すると、検証済みの構成を組み合わせたレシピを出力します。レシピにはコンポーネントごとに固定のバージョン、依存関係、インストール後のヘルスチェックが含まれます。aicr bundleではHelm、Argo CD、Flux、Helmfile向けの成果物に変換でき、aicr diff --fail-on-driftを使えば、本番環境とレシピのずれをCIで止められます。
NVCREで性能のしきい値を設けて認定
AICRで構成をそろえても、多数のノードにまたがる重いジョブが止まらずに動くかまではわかりません。NVCREは、NCCLのall-reduceテストや学習ワークロードを実際に走らせて、クラスターの準備状態を確かめます。テストのカタログには、DCGMのレベル4診断や、NeMo Frameworkを使った80億パラメーターと560億パラメーターのモデルの事前学習も含まれます。
ポイントは、バス帯域幅が毎秒300GB以上といった性能のしきい値を設定できることです。しきい値は初期設定では何も入っていないため、設定しないと、性能が目標を下回るノードも合格してしまいます。また、64ノードのall-reduceで帯域が出ない場合、NVCREは失敗したグループを分割してテストを繰り返し、問題のありそうなノードを理由付きで報告します。手作業での切り分けに比べて、原因の特定にかかる時間を大きく減らせます。
NVSentinelで検知から再検証までを自動化
NVSentinelは、ワークロードと並行して常に動きます。DCGMのヘルスチェック、Xidエラー、NICの状態、クラウド事業者のメンテナンス情報など、クラスターがもともと出している信号を監視するため、GPUの計算時間は消費しません。初期設定は監視だけを行うモードで、ノードの状態を報告するにとどまります。報告内容を信頼できると判断してから、隔離、退避、修復を有効にする段階的な導入が可能です。
ノードがクラスターに加わったときや修理から戻ったときには、ライフサイクルコントローラーが自動で検証リクエストを作り、テストに合格するまでスケジュールを止めます。失敗したノードが知らないうちにプールへ戻ることはありません。ただし、その場でのドライバー更新やファブリックの変更は自動では再検証されないため、AICRのドリフト検知をきっかけに認定を走らせる運用が想定されています。
GPUクラスターの運用担当者が押さえておきたいこと
DSX OSの狙いは、構成、検証、復旧を担当者の勘や手作業に頼らず、繰り返せる手順にすることです。一方でNVIDIAは、テストやしきい値の選定、隔離ルールや修復の上限、自動で直らない障害への対応は、引き続き運用者の仕事だと明記しています。
自社でGPUクラスターを運用しているチームは、まずNVSentinelを監視モードで入れ、どのような信号が上がるかを観察するところから始めると導入しやすいでしょう。新しいノードを受け入れる前のNVCREによる認定や、AICRのレシピをGitで管理する運用も、段階的に加えていけます。NVIDIAはKubeCon + CloudNativeCon North Americaにあわせて、DSX OSのワークショップも開く予定です。
Configure, Certify, and Operate Kubernetes GPU Clusters with NVIDIA DSX OS
One underperforming GPU can slow an entire distributed training job. The node may pass basic health checks and show normal utilization, leaving operators to discover the problem only after the…