NVIDIA AIPerf benchmarkt LLM-Inferenz im großen Stil
NVIDIA hat mit AIPerf ein neues Benchmarking-Tool für den Betrieb großer Sprachmodelle vorgestellt, das als direkter Nachfolger von GenAI-Perf konzipiert wurde. Der vollständige Neuentwurf adressiert zentrale Schwachstellen aktueller Benchmarking-Praktiken, die häufig durch skriptbasierte Einzelprozesse, das Python Global Interpreter Lock oder unzuverlässige Referenzmessverfahren begrenzt waren. AIPerf setzt auf eine multiprocessing-Architektur, bei der Worker-Prozesse die Inferenzlast generieren und separate Recorder-Dienste die Ergebnisse erfassen. Die Koordination erfolgt über ZeroMQ, wodurch sichergestellt wird, dass das Messinstrument selbst keinen Engpass auf Client-Seite darstellt und serverseitige Performance-Effekte exakt abbildet. Das Framework unterstützt über fünfzehn Endpunkttypen, darunter Chat, Response-APIs, Bildgenerierung und NIM-Rankings, sowie die direkte Wiedergabe von Produktions-Trace-Daten etablierter Anbieter. Ein wesentlicher Mehrwert liegt in der granulen Steuerung der Lastprofile. Neben konstanten Werten lassen sich Poisson- und Gamma-Verteilungen sowie variable Burstiness und schrittweise Rampen konfigurieren. Dies ermöglicht die präzise Nachbildung realistischer Nutzerinteraktionen mit schwankenden Eingabe- und Ausgabesequenzlängen, ohne dass separate Tools erforderlich sind. Bei der Auswertung liefert AIPerf neben klassischen Kennzahlen wie Tokens pro Sekunde detailliert verteilte Prozentwerte für Time-to-First-Token und Inter-Token-Latenz. Durch die Integration von DCGM oder pynvml werden zusätzlich GPU-Auslastung, Speicherbezug und Leistungsbezug nahtlos in den Messlauf eingebunden. Dies erlaubt direkte Korrelationen zwischen Latenzspitzen und Hardware-Engpässen ohne externe Profiling-Infrastruktur. Die Konfiguration ist auf wenige Minuten ausgelegt, wobei synthetische Lastmuster exakt reproduzierbar sind, was die Validierung in verteilten Rechenzentren standardisiert. Die Entwicklung von AIPerf erfolgt in enger Zusammenarbeit mit Partnern aus Cloud- und KI-Infrastrukturunternehmen, einschließlich AWS, CoreWeave, Baseten und Pinterest. Gemeinsam wurde der Fokus auf Reproduzierbarkeit, Lastskalierbarkeit und Produktionsnähe gelegt. Mit der Veröffentlichung stellt NVIDIA ein zentrales Instrument bereit, um die Performance von LLM-Deployments vor der Live-Schaltung verlässlich zu quantifizieren. Die Architektur löst sich bewusst von vorherigen Abhängigkeiten und bietet Entwicklern ein systematisches, skalierbares Vorgehen zur Leistungsoptimierung inference-sensitiver Dienste.
