NVIDIA GB200システムがLMArenaのLLM評価モデル開発を加速させた理由

NVIDIAのGB200システムの早期アクセスがLMArenaのLLM評価モデルの開発を支えた カリフォルニア大学バークレー校のLMArenaは、NVIDIAとNebiusの支援により、大規模言語モデル（LLM）の特定のタスクにおける性能を比較するためのモデル「Prompt-to-Leaderboard（P2L）」を開発した。P2Lは、数学、コーディング、クリエイティブライティングなど、様々な分野でのAIの回答を人間が評価し投票することで、具体的な評価表を作成する。 LMArenaの共設立者であるウエイ・リン・チアン博士課程学生は、「P2Lではユーザーの好みを各タスクに反映し、Bradley-Terry係数を用いて最良のモデルを識別します」と述べた。過去2年間にわたって開発されたP2Lは、コストベースのルーティングも可能である。ユーザーは予算を設定し、システムがその範囲内の最高性能を発揮するモデルを選択する。 LMArenaのシニアリサーチャーで同大学の博士課程学生であるイヴァン・フリックは、「単一の総合ランキングだけでなく、各モデルがどのような領域で優れているかを明らかにするのが目的でした」と強調した。「単一のスコアでは、これらの微妙な違いが見えにくくなります」。 P2Lの実用展開：LMArena、Nebius、NVIDIAのコラボレーション 今年2月、LMArenaはNebiusを通じてNVIDIA DGX CloudにホストされるNVIDIA GB200 NVL72でP2Lを实战配した。NVIDIAとNebiusは共同でサンドボックス環境を開発し、NVIDIA Blackwellプラットフォームのオンボーディングや最新のノード構成管理ガイドラインを提供した。 NVIDIA AI専門家たちは、プロジェクトを通じて具体的なフィードバックと協創のサイクルを促進し、P2LとDGX Cloudプラットフォームの改良に貢献した。チアンは、「多ノード展開について話しますが、単一ノードでも我々を忙しくさせています。リアルタイムパフォーマンスを維持しながら、継続的なデータフィードバックに対応することが最大の課題ですが、それもまた楽しい部分です」と述べている。 NVIDIA GB200 NVL72の特徴 NVIDIA GB200 NVL72は36基のGrace CPUと72基のBlackwell GPUを統合し、高帯域幅と低レイテンシーのパフォーマンスを提供するためにNVIDIA NVLinkとNVLink Switchで接続されている。30TBのLPDDR5XとHBM3Eメモリーが効率的なリソース分配を確保し、要求の多いAIタスクに対応できる。 チアンによると、P2Lはドメイン固有の精度とコストに基づいてクエリーを動的にルーティングするのが理想的であり、これがGB200 NVL72のパフォーマンスを試すのに最適だという。実際、LMArenaは単一ノードから多ノードへとスケーリングした連続的なトレーニング走査を行い、効果的な水平スケーラビリティと素晴らしいシングルノードのスループットを示した。 「早期アクセスプログラムを使ってGB200 NVL72を利用したにもかかわらず、以前のHopper（H100）のトレーニング走査より大きな改善を見ました。最良のモデルをわずか4日間でトレーニングできたのは画期的です」とチアンは述べている。 オープンソースの有効化とエコシステムの準備 NVIDIA DGX Cloudチームは、NebiusとLMArenaと共にGB200 NVL72での迅速な展開を確保するために深く連携した。これにより、開発者は低レベルの互換性やパフォーマンス問題に悩むことなく最先端のオープンソースツールを活用できるようになった。 NVIDIAのシニアエンジニアであるポール・アブルッッツォは、「GB200の新しいArmアーキテクチャ向けに依存関係を構築し、重要なオープンソースフレームワークを提供することで、迅速な展開とスケール上の実験が可能になりました」と述べた。 このコラボレーションは、GB200 NVL72の新構造上でAIワークロードを有効化するための技術的なマイルストーンに加え、次世代の大規模AI展開モデルを提供した。ネビウスの最高製品・インフラ責任者アンドレイ・コロレンコは、「有効化されたフレームワーク、オンボーディングガイド、デプロイメント蓝图により、未来の顧客がGB200 NVL72を採用しやすくなりました。完全ラックスケールでの使用や、より特定されたサブキャパシティ構成での使用も可能になりました」と付け加えた。 結論 この展開は、NVIDIA GB200 NVL72プラットフォームでAIワークロードが迅速にスケーリングできる柔軟さと速度、およびArm64エコシステムの準備ができていることを示している。NVIDIA DGX CloudとNebius AI Cloudは、LMArenaのような成功例を再現したい開発者にとって、AI革新を加速し、導入の複雑さを軽減し、最先端のインフラを活用するための絶好の機会を提供している。 チアンは、「NebiusとNVIDIAとのコラボレーションは、我々がP2Lを急速にスケーリングする能力を根本的に変えることができました。GB200 NVL72のパフォーマンスを生かし、ユーザーからのリアルタイムフィードバックに基づいて動的に調整可能なルーティングモデルを開発できました」と締めくくった。 NVIDIAとNebiusが連携して提供するGB200 NVL72プラットフォームは、AI開発の効率化と性能向上に寄与しており、LMArenaの成功はこの可能性を具体的に示している。未来の開発者たちも、同様のメリットを享受できる可能性が高い。