NVIDIA Vera Rubin NVL72 steigert KI-Agent-Effizienz um 30x

NVIDIA hat mit der Plattform Vera Rubin NVL72 einen neuen Effizienzmaßstab für Agentic-AI-Workloads gesetzt. Erste Leistungswerte zeigen, dass das System im Vergleich zur Vorgängergeneration GB300 NVL72 bis zu dreißigfach mehr Durchsatz pro Megawatt liefert und die Kosten pro Million Token um das Fünfunddreißigfache senkt. Die Messungen stützen sich auf den SemiAnalysis AgentX Benchmark, der echte, aufgezeichnete Programmier-Sitzungen von KI-Agenten nachspielt. Im Gegensatz zu einfachen Chat-Anfragen verbrauchen agentic Workloads durchschnittlich das Fünfzehnfache an Token, da sie mehrstufige Schlussfolgerungen, Tool-Aufrufe und den kontinuierlichen Aufbau langer Kontexte erfordern. Herkömmliche Benchmarks mit festen Sequenzlängen erfassen diese Muster nicht mehr. AgentX bewertet stattdessen die effiziente Bedienung dynamischer, zustandsbehafteter Interaktionen und misst dabei primär den nutzbaren Durchsatz im Rahmen eines begrenzten Strombudgets. Die herausragenden Ergebnisse lassen sich auf ein extremes Co-Design über alle Plattformebenen zurückführen. Die Rubin-GPUs verfügen über verbesserte Tensor Cores der fünften Generation und einen Transformer Engine der dritten Generation, die sowohl die Prefill- als auch die Decode-Phase beschleunigen. NVFP4-Quantisierung reduziert den Speicherbedarf, ohne die Ausgabequalität zu beeinträchtigen. Das NVL72-Scale-up-Design ermöglicht mit dem sechsten NVLink-Generation-Interconnect extrem niedrige Latenzzeiten und hohe Paketraten, die für große Mixture-of-Experts-Modelle und verteiltes KV-Caching unverzichtbar sind. Auf Softwareebene koordinieren TensorRT-LLM, der Serving-Framework Dynamo sowie spezialisierte CUDA-Kernels die Rechenlast dynamisch. Dynamo trennt Prefill und Decode in unabhängige Worker-Pools und nutzt einen Cache-bewussten Router, um bei wachsenden Kontextlängen unnötige Neuberechnungen zu vermeiden. Das vollständige Vera-Rubin-System integriert zudem Vera-CPUs für Tool-Execution, Groq-3-LPUs für ultraschnelle Interaktivität, BlueField-4-DPUs sowie ConnectX-9-SuperNICs, um den gesamten Datenfluss in der KI-Fabrik zu optimieren. Für Betreiber von Rechenzentren bedeutet dieser Leistungsprung eine direkte Verbesserung der Wirtschaftlichkeit. Da der Stromverbrauch bei KI-Infrastrukturen oft der Engpass ist, erlaubt die gesteigerte Effizienz pro Megawatt den Betrieb deutlich mehr Agenten innerhalb derselben Leistungsgrenzen. Gleichzeitig sinken die Betriebskosten pro generiertem Token erheblich. Die Daten verdeutlichen zudem den kontinuierlichen Innovationszyklus: Während die Blackwell-Generation bereits etwa die fünfzehnfache Effizienz gegenüber der Hopper-Architektur bietet, erweitert Vera Rubin diesen Vorsprung weiter. NVIDIA bestätigt, dass die Plattform bereits in voller Serienproduktion ist und weltweit skaliert wird. Laufende Software-Optimierungen sollen die gemessenen Werte in den kommenden Monaten zusätzlich steigern. Mit Vera Rubin NVL72 positioniert sich NVIDIA gezielt auf die nächste Generation autonomer KI-Systeme, die nicht nur einfache Anfragen beantworten, sondern komplexe, mehrstufige Aufgaben in Echtzeit erledigen müssen.