Blackwell: Benchmark-Leader
NVIDIA Blackwell Ultra NVL72 dominiert ersten Benchmark für Agentic AI Der von Artificial Analysis initiierte Benchmark AgentPerf etabliert erstmals eine Standardmetrik zur Vergleichbarkeit von Systemen für Agentic AI. In der ersten Veröffentlichung der Ergebnisse positioniert sich die NVIDIA Blackwell Ultra NVL72 Plattform als klarer Performance-Führer. Sie bewältigt die getesteten Workloads deutlich effizienter als die Hopper-Generation und erzielt bis zu 20-fach höhere Werte an ausgeführten Agenten pro Megawatt im direkten Vergleich zum NVIDIA HGX H200 System. Agentic AI unterscheidet sich grundlegend von konversationellen KI-Anwendungen. Während einzelne Chat-Antworten als punktuelle Ereignisse zu betrachten sind, operieren autonome Agenten durch kettenartige Abfolgen von LLM-Aufrufen und Tool-Interaktionen. Sie zerlegen komplexe Ziele, iterieren über mehrere Schritte, verwalten wachsende Kontextfenster und führen autonome Entscheidungen durch. Diese multiplicative Komplexität überfordert herkömmliche Inference-Benchmarks, die ausschließlich einzelne Anfrage-Latenzen erfassen. AgentPerf adressiert diese Lücke durch eine Methodik, die reale Entwickler-Workflows aus über zwölf Programmiersprachen nachbildet. Dabei werden Tool-Aufrufe durch repräsentative CPU-Verarbeitungszeiten simuliert, um die rein hardwarespezifische Beschleunigungsleistung isoliert zu messen. Der Benchmark quantifiziert primär die maximale Anzahl simultaner Agenten-Sessions sowie die Einhaltung definierter Antwortgeschwindigkeits-Schwellenwerte. Die herausragende Effizienz der GB300 NVL72 basiert auf einem durchgängigen Full-Stack-Codesign. Die Architektur vernetzt 72 GPUs in einem einzigen Rack, was die effiziente Laufzeitverteilung großer Mixture-of-Experts-Modelle wie DeepSeek V4 Pro, das als Referenzmodell diente, ermöglicht. Optimierte CUDA-Kernel parallelisieren Kommunikations- und Rechenprozesse, wodurch Koordinationsaufwand Latenzen neutralisiert. NVIDIA TensorRT LLM steigert zusätzlich die Auslastung, indem es Eingabe- und Generierungsphasen entkoppelt und unabhängig optimiert. Dies sichert stabile Performanz auch bei massiv steigender Parallelität. Die Technologie findet bereits breite industrielle Anwendung. Inference-Anbieter wie Baseten, DeepInfra und Together AI betreiben productive Agentic-AI-Workloads für Frontier-Modelle auf Blackwell-Infrastruktur. Together AI nutzt die Plattform für die Echtzeit-Inference von Cursor, einer KI-Entwicklungsumgebung, die Agenten zur automatisierten Code-Generierung, Debugging-Unterstützung und Refaktorisierung einsetzt. DeepInfra liefert die Compute-Grundlage für Pam.ai, eine KI-Arbeitskraftlösung für die Automobilbranche, die Agenten zur Terminverwaltung, Kundenkommunikation und Vertriebssteuerung orchestriert. Begleitet durch den nun vollständig in Produktion befindlichen Vera Rubin-Chipsatz und kontinuierliche Software-Optimierungen im Open-Source-Bereich wird die Skalierbarkeit von Agentic AI Infrastrukturen weiterhin signifikant zunehmen.
