NVIDIA hat offiziell Nemotron 3 Super veröffentlicht, ein offenes Hybrid-Architekturmodell, das speziell zur Bewältigung komplexer Herausforderungen in Multi-Agenten-Systemen entwickelt wurde. Das Modell verfügt über insgesamt 120 Milliarden Parameter und 12 Milliarden aktivierte Parameter; es zielt darauf ab, die Tiefe der Inferenz mit der Rechenleistung auszubalancieren und Probleme wie „Kontextexplosion" sowie „Denksteuerkosten" zu lösen, denen Agenten bei langfristigen Aufgaben gegenüberstehen. Nemotron 3 Super nutzt eine innovative hybride Mamba-Transformer-Mixture-of-Experts-(MoE)-Architektur. Die Mamba-Schichten bieten Sequenzverarbeitungskomplexität linearer Zeitordnung und arbeiten zusammen mit einem nativen Kontextfenster im Millionen-Token-Bereich, um sicherzustellen, dass Agenten langfristig speichern können und ihre Zielkonsistenz wahren. Transformer-Aufmerksamkeitslagen sind hingegen eingebettet, um auch bei massiven Informationsmengen präzise auf Schlüsselinformationen zugreifen zu können. Darüber hinaus führt das Modell die Technologie des „latenten MoE" ein, durch welche mittels Komprimierung des Einbettungsraums unter gleichen Kosten viermal mehr Experten aktiviert werden können, was eine feinere Aufgabenteilung ermöglicht. In Kombination mit Multitoken-Vorhersage (Multitoken Prediction, MTP) steigert das Modell sowohl während des Trainings als auch der Inferenz signifikant seine Fähigkeiten für logisches Schlussfolgern und Generierungsgeschwindigkeit; strukturierte Werkzeugaufrufe lassen sich bis zum Dreifachen beschleunigen. Beim Training kommt das Modell von Haus aus im NVIDIA-Floating-Point-Format NVFP4 (4 Bit) vor, wodurch der Speicherbedarf gesenkt wird, ohne dabei an Präzision einzubüßen. Der Trainingsprozess umfasst drei Phasen: Vorabtraining, überwachte Feinabstimmung und Verstärkungslernen in mehreren Umgebungen, was dem Modell Stabilität in komplexen Arbeitsabläufen verleiht. Tests zeigen, dass Nemotron 3 Super beim Benchmark PinchBench einen Score von 85,6 % erzielt hat und damit zu den führenden offenen Modellen seiner Klasse zählt. Das Modell ist vollständig open-source verfügbar, einschließlich Gewichte, Datensätze und Trainingsrezepte; Entwickler können es lokal oder in der Cloud frei bereitstellen. NVIDIA stellt umfassende Anleitungen zur Feinabstimmung sowie Bereitstellungspakete zur Verfügung, die zudem für Experimente und Bewertungen innerhalb von Agentenframeworks wie OpenClaw genutzt werden können. Die Veröffentlichung von Nemotron 3 Super markiert einen neuen Meilenstein für offene KI in Multi-Agenten-Anwendungen und bietet effiziente, zuverlässige Inferenzfähigkeiten für hochwertige Anwendungsszenarien wie Softwareentwicklung und Cybersicherheit.