緑色のスピードメーターと、周囲に配置された複数のノードが線でつながれた様子を描いたフラットイラスト

記事

NVIDIA、LLM推論ベンチマークツール「AIPerf」公開——GenAI-Perfをマルチプロセス化して刷新

NVIDIAは公式Technical Blogで、LLM推論のベンチマークツール「AIPerf」を公開したと発表しました。従来のGenAI-Perfをゼロから設計し直し、マルチプロセスアーキテクチャによってクライアント側がボトルネックになる問題を解消しています。

NVIDIAは公式Technical Blogで、大規模言語モデルの推論性能を計測するベンチマークツール「AIPerf」を公開したと発表しました。従来提供していた「GenAI-Perf」の後継にあたるツールで、内部設計をゼロから見直し、負荷生成側のクライアントがボトルネックになってしまうという計測ツールにありがちな課題を解消しています。モデルをサーバーにデプロイした後、「本当に速いのか」を自分たちで信頼できる数字として確認したい開発者やインフラ担当者にとって、実務で使える計測基盤の選択肢が増えたことになります。

GenAI-Perfからの全面刷新——マルチプロセス化でクライアント側のボトルネックを解消

AIPerfは、GenAI-Perfが内部で利用していたPerf Analyzerの上に構築する方式をやめ、まったく新しいアーキテクチャで作り直されています。GenAI-Perfを含む多くのベンチマークツールは単一プロセスで動作するため、実際の同時実行数やリクエストレートを高めていくとPythonのGIL(グローバルインタプリタロック)がボトルネックになりがちでした。AIPerfでは負荷を生成するワーカープロセスと、結果を処理する専用のrecord-processorサービスを分離し、両者をZeroMQ経由で協調動作させるマルチプロセス構成を採用しています。この構造により、計測ツール自身が性能測定のボトルネックになることを防ぎ、サーバー側の実力をより正確に測れるようになっています。

緑色のスピードメーターと、周囲に配置された複数のノードが線でつながれた様子を描いたフラットイラスト

画像引用元: NVIDIA Technical Blog

15種類以上のエンドポイントと実運用データセットに対応

AIPerfはchat、responses、NIM rankings、画像生成など15種類以上のエンドポイントタイプをサポートしています。データセットについても、公開データセットのShareGPTに加え、Mooncake、Baseten、WEKAのAgentXといった実運用トレースのリプレイ形式にも対応しており、簡易的な合成テストから本番トラフィックを再生した検証まで、同じツールでカバーできる点が特徴です。エンドポイントやデータセットの種類ごとに別々のツールを使い分ける必要がなくなることで、ベンチマーク環境の構築・保守コストを抑えられます。

負荷パターンを細かく制御——Poisson分布やgammaバーストにも対応

負荷のかけ方についても柔軟性が確保されています。AIPerfは一定間隔(constant)、ポアソン分布(Poisson)、ガンマ分布(gamma)といった到着パターンをサポートし、バースト性(burstiness)も調整可能です。同時実行数やリクエストレートを段階的に引き上げるランピング機能や、入力・出力トークン長を変動させるvLLM/SGLangのrange-ratio分布にも対応しており、単に負荷の量を増やすだけでなく、本番トラフィックに近い「形」を再現した検証ができます。

Qwen3-0.6BとvLLMで試す最初のベンチマーク

NVIDIAが公開した手順では、まずvLLMのDockerイメージでQwen3-0.6Bモデルをホストし、uv tool install aiperfでAIPerf自体をインストールします。ベンチマーク実行時には--synthetic-input-tokens-meanや--output-tokens-meanで入出力トークン数を固定し、--extra-inputs min_tokensやignore_eosを指定することで、モデルが早期に生成を打ち切ってしまい見かけ上のスループットが低く出る問題を防げます。計測結果にはTTFT(最初のトークンが返るまでの時間)、ITL(トークン間隔)、リクエストレイテンシ、出力トークンスループットがパーセンタイル単位で表示されるほか、DCGMやpynvmlが利用可能な環境ではGPUテレメトリも合わせて取得できます。なお、aarch64環境では依存パッケージのcrickがソースからのビルドになるため、Cツールチェーンが必要になる点も案内されています。

GenAI-Perfからの移行と今後の位置づけ

AIPerfはGenAI-Perfの正式な後継として位置づけられており、既存のGenAI-Perf利用者向けに移行ガイドも用意されています。分散推論のベンチマークについては、関連記事として「NVIDIA Dynamo 1.0によるマルチノード推論」も参照するよう案内されており、単体GPUでの計測から大規模クラスタでの計測まで、NVIDIAとして計測基盤を一貫して整備していく方針がうかがえます。LLMサービングの性能評価は今後もモデルやハードウェアの世代交代のたびに必要になる作業であり、クライアント側の限界に足を引っ張られない計測基盤が用意された意義は小さくありません。