NVIDIA AIPerf、大規模LLM推論ベンチマークを実現
NVIDIAは大型言語モデル推論の規模別ベンチマークングツール「AIPerf」を正式に公開した。既存のGenAI-Perfを置き換える次世代ツールとして設計され、クライアント側のボトルネックを排除し、実際の推論サーバー負荷を正確に計測することを目的としている。AIPerfの最大の特徴は、従来の単一プロセス構造からマルチプロセスアーキテクチャへの完全な移行にある。ワーカープロセスが負荷生成を担当し、別の記録用サービスが結果を処理する構成により、PythonのGIL制約や同時実行処理時の性能低下を回避している。通信にはZMQを採用し、クライアント自体がパフォーマンス測定限界にならない設計がなされている。対応ワークロードはチャット、レスポンス、NIMランキング、画像生成など15種類以上をサポートし、ShareGPTなどの公開データセットや他社由来のトラース記録形式も再現可能だ。到着パターンは一定からポアソン、ガンマ分布まで細かく制御でき、バースト性や段階的な負荷増加、変数入力・出力シーケンス長の設定も柔軟に調整可能である。実測環境ではvLLMを介したQwen3-0.6Bモデルを用いた検証が行われている。ストリーミング応答を必須とする設計により、TTFTやITLといった遅延指標を正確に抽出。入力トークンと出力トークンの数を固定するオプションと組み合わせることで、実行間での再現性を担保している。計測結果はパーセンタイル分布やGPU電力、メモリ使用量などのテレメトリと一体化して出力され、単なる平均値では見逃されるロングテール遅延や資源競合の把握を可能にする。本ツールの開発はAWS、Coreweave、Baseten、Pinterestなどの企業・コミュニティとの協業を経ており、相互検証と標準化が進められている。公式リポジトリとドキュメントで詳細設定が公開され、企業におけるLLM推論基盤の性能評価・最適化プロセスにおいて、信頼性の高い計測基準を提供する見込みである。
