MF Blogs 便利ツール
紫色の背景の中で、緑色の小さな立方体が集まって大きな立方体を形づくるイラスト

記事

NVIDIA、強化学習の重み転送を最大5.7倍速くする「Reshard」を公開——兆パラメーター級モデルの後学習を高速化

NVIDIAは、強化学習の後学習で学習用GPUから推論用GPUへ重みを移す「refit」を高速化する新しい集団通信「Reshard」を発表しました。オープンソースのNCCL M2N Reshardとして提供し、NeMo RLでの計測では従来方式より2.7〜5.7倍速くなったとしています。

0:00 0:00

NVIDIAは2026年11月6日、強化学習(RL)による後学習で発生する重みの転送処理「refit」を高速化する新しい集団通信「Reshard」をNVIDIA Technical Blogで発表しました。参照実装の「NCCL M2N Reshard」はオープンソースとしてGitHubのnccl-extensionsリポジトリで公開されています。後学習フレームワークNeMo RLでの計測では、従来の方式と比べて2.7〜5.7倍の高速化を確認しています。

refitとは何か

RLの後学習では、現在のモデルで推論を走らせて学習用のデータをその場で生成します。効率を上げるため、推論と学習を別々のGPU群で並行して動かす構成が一般的です。モデルの更新は学習側のGPUで行われるため、推論側のGPUにも定期的に最新の重みを送り直す必要があります。この転送がrefitです。

refitには2つの難しさがあります。1つは、推論と学習で必要な計算の性質が違うため、データ並列やテンソル並列、エキスパート並列といった分割の仕方が両者で異なることです。もう1つは、すべての重みを更新するため、通信量がモデル全体の重みのサイズに匹敵することです。最新の巨大モデルでは、この通信量がすでに非常に大きくなっています。

1回あたり約10TBに達する通信量

従来のrefitは「gather-and-broadcast」と呼ばれる方式が主流です。学習側のGPUが手元の断片を集めてパラメーター全体を復元し、それを推論側のGPUへ丸ごと送り、推論側は自分に必要な部分だけを残します。仕組みは単純ですが、推論側は一部しか使わないのに全体を受け取るため、集める段階と配る段階の両方で無駄な通信が生じます。

モデル重みのサイズ(BF16)refit1回の通信量の推定
Kimi K3(2.8兆パラメーター)約5.6TB約11.2TB
Qwen 3.8 2.4T A95B(2.4兆パラメーター)約4.8TB約9.6TB

NVIDIAの試算では、現在最大級のオープンウェイトモデルでは、refit1回あたりの通信量が約10TBに達します。しかもこの処理は学習のステップごとに必要です。モデルが大きくなるほど負担は増えるため、通信量そのものを減らす方法が求められていました。

DTensorの再分割として捉え直す

NVIDIAは、refitで送るべきデータを理論上の最小量に絞るという考え方から出発しました。鍵になったのは、PyTorchの分散テンソル「DTensor」という既存の抽象化です。DTensorは、GPU間でテンソルをどう分割し、どう複製しているかを表現する仕組みで、refitは「学習側の配置から推論側の配置へDTensorを再分割する問題」として言い換えられます。

8×8の重み行列を2台の学習用GPUと4台の推論用GPUの間で、必要な領域だけを直接受け渡す様子を示した図

画像引用元: NVIDIA Technical Blog

たとえば8×8の行列を、学習側では2台のGPUで行方向に、推論側では4台のGPUで列方向に分けているとします。推論側の各GPUは、学習側の各GPUから4×2の領域を受け取るだけで、必要な8×2の断片をそろえられます。行列全体を復元する必要はありません。Reshardは、all-reduceやall-gatherと同じように1回の呼び出しで使える集団通信として、この転送を実装しています。

NVLinkを使って重複転送をなくす

NCCL M2N Reshardは、まず送り手と受け手の断片が重なる範囲を正確に割り出し、その転送をGPUの物理的な接続に割り当てます。同じ重みを複数の推論GPUが必要とする場合でも、ネットワーク越しには1回だけ送ります。受け取ったGPU同士は高速なNVLinkで残りの部分を交換し、それぞれが完全な断片を組み立てます。

ネットワーク転送とNVLink上の交換は並行して進むため、互いの待ち時間を隠せます。単純な直接転送では同じ断片を2回送るぶん帯域が半分になりますが、この方式なら各断片がネットワークの帯域をまるごと使えるとNVIDIAは説明しています。

計測では最大5.7倍の高速化

NeMo RLへの実装では、割り切った設計を採っています。最新のLLMでは、Transformerブロックのフィードフォワード層の重みがパラメーター全体の約95%を占めます。そこで、この大きな重みにはReshardを使い、QKV射影などの小さな重みには従来のgather-and-broadcastを残すハイブリッド方式にしました。

システムモデル従来方式Reshard
DGX H100Qwen 3 235B6.4秒1.9秒
DGX H100DeepSeek v3 671B14.9秒2.6秒
DGX GB200DeepSeek v3 671B6.1秒2.3秒
DGX GB200Nemotron Ultra v38.2秒2.3秒

refitだけを測ったマイクロベンチマークでは、2.4兆パラメーターのQwen3.8 2.4T(BF16)でも転送は4.3秒で済みました。兆パラメーター級のモデルを想定した設計であることがわかります。

RLの後学習を回すチームへの影響

RLによる後学習は、推論と学習を何度も往復させる処理です。refitの時間が短くなれば、そのぶんGPUの待ち時間が減り、同じ計算資源でより多くの学習ステップを回せます。巨大なMoEモデルを自前で後学習しているチームにとっては、効きやすい改善です。

NeMo RLを使っている場合は、設定を変えるだけでReshardの経路を有効にできます。対応するバックエンドや配置、精度モードはNeMo RLのrefitガイドとNCCL Reshardの設定要件にまとまっています。なお、障害復旧時にGPUの構成が変わるケースには現在は通信グループの作り直しで対応しており、NCCLのshrink/grow APIを使う方式は今後の更新で予定されています。