Nvidia hat sich mit seiner neuen Reihe von Open-Source-Modellen, den Nemotron 3, erneut als zentraler Akteur im AI-Ökosystem positioniert – und zwar angesichts seiner einzigartigen wirtschaftlichen und technologischen Position. Während Konkurrenten wie OpenAI, Anthropic und Google ihre Modelle zunehmend schließen und kommerzialisieren, setzt Nvidia auf eine Strategie, die auf Offenheit und Integration basiert. Die Fähigkeit, selbst AI-Cluster jeder Skalierung kostengünstig zu betreiben – dank des profitablen Hardware-Geschäfts mit GPUs der Blackwell-Serie – ermöglicht es dem Unternehmen, seine Modelle kostenlos bereitzustellen und nur geringe Gebühren für die Enterprise-Software-Stacks zu verlangen. Diese Strategie erinnert an die frühen Tage von IBM, als Mainframes mit kostenlosen Support- und Programmierdienstleistungen verkauft wurden, um die Akzeptanz der Technologie zu beschleunigen. Nvidia könnte so langfristig zu einem „AI-Utility“ werden – einem zentralen, zugänglichen Infrastrukturanbieter, der mehr ist als nur Cloud. Die Entwicklung der Nemotron-Reihe begann mit Megatron-LM 2019, einem Transformer-Modell mit 8 Milliarden Parametern, das auf 512 GPUs trainiert wurde. Mit der Zusammenarbeit mit Microsoft entstand 2021 Megatron-Turing NLG mit 530 Milliarden Parametern. Die NeMo-Toolkit-Plattform, die seitdem die Grundlage für die Nemotron-Modelle bildet, ermöglicht eine flexible, skalierbare Entwicklung. Die ersten Nemotron-4-Modelle erschienen im Juni 2024 mit 340 Milliarden Parametern. Mit Nemotron 1 wurde die Llama-3.1-Grundlage mit spezifischen Reasoning-Techniken kombiniert, wodurch Modelle in Größen von 8 bis 235 Milliarden Parametern entstanden. Nemotron 2 Nano (9 und 12 Milliarden Parameter) integrierte erstmals die Mamba-Technologie – eine effiziente Alternative zu klassischen Attention-Strukturen – in Kombination mit Transformers, um Speicher und Rechenleistung zu optimieren. Nemotron 3, vorgestellt in diesem Jahr, baut auf dieser Hybridarchitektur auf und implementiert eine sogenannte latente Mixture-of-Experts-(MoE)-Struktur. Diese ermöglicht es, dass nur ein kleiner Teil der Modelle pro Inference-Operation aktiviert wird, wodurch der Speicherverbrauch sinkt und die Effizienz steigt. Die Super- und Ultra-Varianten nutzen eine gemeinsame Kern-Infrastruktur mit individuellen „Küchenzutaten“ (private Parameter), was die Skalierbarkeit und Leistung erheblich verbessert. Die Nano-Version (30 Milliarden Parameter, 3 Milliarden aktiv) passt auf eine einzige L40S-GPU, während die Ultra-Variante mit 500 Milliarden Parametern und 50 Milliarden aktiven Parametern für leistungsstarke, aber ressourcensparende Inferenz optimiert ist. Die Modelle wurden mit einem 25 Billionen-Token-Datensatz in 4-Bit-Präzision trainiert und nutzen eine 1-Million-Token-Context-Fenster, was die Komplexität der Aufgaben erheblich erhöht. Benchmark-Ergebnisse zeigen, dass Nemotron 3 Nano eine deutliche Leistungssteigerung gegenüber den Vorgängern bietet – insbesondere in der Token-Throughput- und Genauigkeits-Performance. In Kombination mit spekulativer Ausführung (multi-token prediction) und der latenten MoE-Technologie positioniert sich das Modell als technologisch führend, besonders in Bezug auf Effizienz und Skalierbarkeit. Obwohl die Datenbanken und Trainingsdaten nicht öffentlich freigegeben sind, ist die offene Bereitstellung der Modelle und Tools (650 Modelle und 250 Datensätze auf Hugging Face) ein klares Signal: Nvidia will die AI-Entwicklung voranbringen, nicht nur selbst profitieren. Industrieexperten sehen in dieser Strategie eine langfristige Vision: Nvidia könnte nicht nur Hardware und Software verkaufen, sondern als Plattform- und Support-Anbieter für AI-Systeme dominieren. Die Möglichkeit, technischen Support über das AI Enterprise-Stack anzubieten – kostengünstig, aber profitabel – würde die Konkurrenz aus dem geschlossenen Modell-Bereich weiter unter Druck setzen. Mit seiner einzigartigen Kombination aus Hardware-Macht, Software-Ökosystem und Open-Source-Engagement ist Nvidia der einzige Akteur, der sich leisten kann, AI-Modelle zu „verschenken“ – und gleichzeitig die Zukunft der KI zu gestalten.