NVIDIA veröffentlicht Groq LPU mit Langkontext-Inferenzgeschwindigkeit von über 3.400 Token pro Sekunde

NVIDIA hat den interaktiven KI-Inferenzbeschleuniger Groq 3 LPX für die Vera-Rubin-Plattform vorgestellt, der sich auf Agenten-Inferenzszenarien mit langen Kontextfenstern, kleinen Batchgrößen und niedriger Latenz konzentriert. Tests des unabhängigen Bewertungsunternehmens Artificial Analysis mit dem Gemma-4-Modell mit 31 Milliarden Parametern ergaben eine mediale Ausgaberate von 3.431 Token pro Sekunde bei einem Eingabekontext von 100 K Tokens; bei einem Kontext von 10 K Tokens lag die Rate bei 3.382 Token pro Sekunde, was zeigt, dass die Leistung nur geringfügig von der Kontextlänge beeinflusst wird. NVIDIA gibt an, dass das Generieren von 5.000 Token etwa 1,5 Sekunden dauert, während ein System mit einer Geschwindigkeit von 100 Token pro Sekunde dafür rund 50 Sekunden benötigt. Das Rack des Groq 3 LPX umfasst 256 LP30-Berechnungseinheiten sowie insgesamt 128 GB SRAM. Jeder Chip ist mit 96 Interconnect-Schnittstellen mit je 112 Gbit/s ausgestattet. Der Compiler plant Datenübertragungen zwischen den Chips vor Ausführung der Aufgabe voraus und überlappt Berechnung und Kommunikation in feinkörnigem Masstab, wodurch die feste Kommunikationslatenz beim Tensor Parallelismus im Small-Batch-Inference reduziert wird. Im SPEED-Bench-Programmtest erreichte das System eine mediale Ausgaberate von 4.767 Token pro Sekunde. NVIDIA beabsichtigt, den Groq 3 LPX zusammen mit dem Vera-Rubin-NVL72 einzusetzen und durch die Trennung von Aufgaben wie Pre-Filling, Decoding, Attention-Mechanismus und FFN Inferenzfähigkeiten für lange Kontexte und hochskalige Multi-Agentensysteme bereitzustellen.