NVIDIA、Groq 3 LPXを発表。長文コンテキストの推論速度が毎秒3400トークンを突破
NVIDIAは、Vera Rubinプラットフォーム向けのインタラクティブなAI推論アクセラレータ「Groq 3 LPX」を発表し、長いコンテキスト、小さなバッチサイズ、低レイテンシを特徴とするエージェントの推論シーンに注力している。第三者評価機関であるArtificial AnalysisによるGemma 4 31Bモデルを用いたテストでは、100Kの入力コンテキストにおいて、Groq 3 LPXの出力速度中央値が毎秒3431トークンに達したことが示された。また、10Kのコンテキストにおいては毎秒3382トークンを記録しており、そのパフォーマンスがコンテキスト長の影響を受けにくいことを明らかにした。NVIDIAによると、5000個のトークンの生成には約1.5秒かかる一方、毎秒100トークンのシステムでは約50秒を要するとしている。 Groq 3 LPXラックには256基のLP30処理ユニットと合計128GBのSRAMを搭載し、各チップには96本の112Gbpsインターコネクトリンクが用意されている。同社のコンパイラーはタスク実行前にチップ間のデータ転送を手配し、計算と通信を細かくオーバーラップさせることで、小さいバッチサイズの推論におけるテンソル並列化に伴う固定の通信遅延を削減する。SPEED-Benchプログラミングベンチマークでのテスト結果、このシステムの出力速度中央値は毎秒4767トークンとなった。 NVIDIAは、Groq 3 LPXをVera Rubin NVL72と共に組み合わせる計画であり、プリフォilling（事前充填）、デコーディング、アテンションおよびFFNなどのタスクを分離することで、長文脈や超大規模マルチエージェント・システムに対する推論機能を提供していく方針だ。
