NVIDIA hat mit ModelExpress (MX) eine neue Infrastrukturkomponente eingeführt, die den Lebenszyklus großer KI-Modelle in Rechenzentren deutlich beschleunigt. Da moderne Modell-Checkpoints hunderte Gigabyte bis hin zu einem Terabyte umfassen, verursacht das wiederholte Verschieben dieser Gewichte während Kaltstarts, autoscalenden Skalierungsvorgängen und Rolling Updates signifikante Latenzen und Engpässe. MX adressiert dieses Problem durch eine intelligente Routing-Logik, die vor jedem Ladevorgang prüft, ob kompatible Gewichte bereits im Cluster vorliegen. Statt jede neue Instanz als unabhängigen Kaltstart zu behandeln, nutzt MX Peer-to-Peer-RDMA-Übertragungen über die NVIDIA Inference Xfer Library (NIXL). Sobald die erste Worker-Instanz die Modellgewichte aus einem Objektspeicher oder lokalen Datenträgern geladen hat, fungiert sie als aktive Quelle. Folgende Instanzen transferieren die Daten direkt von GPU zu GPU, was redundanten Netzwerk- und Speicherverkehr eliminiert. Praxisdaten zeigen, dass sich die Startzeit eines DeepSeek-V4-Pro-Modells auf einer acht GPU starken Node damit von acht Minuten auf knapp ein Minuten und 44 Sekunden reduzieren lässt. Neben der Gewichtsverteilung optimiert MX den Kernel-Warmup. Da die JIT-Kompilierung und Autotuning-Schritte für Inferenz-Engines oft mehrere Minuten in Anspruch nehmen, ermöglicht die Artifact-Transfer-API das Kopieren compilierter Kernel-Caches zwischen kompatiblen Instanzen. Dies eliminiert redundante Kompilierungszyklen und entlastet die Cluster-Storage-Architektur, da keine shared ReadWriteMany-Volumes mehr erforderlich sind. Ein weiterer Schwerpunkt liegt auf Reinforcement-Learning-Post-Training. Da Trainer in RL-Szenarien die Gewichte nach jedem Schritt aktualisieren, müssen Inference-Aktoren diese Updates nahtlos übernehmen. MX implementiert ein empfangergesteuertes Refit-Verfahren, das sicherstellt, dass Rollout-Arbeiter stets auf den aktuellsten Modellstand zugreifen, ohne den Trainingsloop zu blockieren. Die Architektur ist hardware- und softwareagnostisch konzipiert. MX erkennt verfügbare Fähigkeiten automatisch, wählt die schnellste verfügbare Pfadstrategie und bietet sichere Fallbacks bei Verbindungsabbrüchen. Native Integrationen bestehen bereits für vLLM, SGLang, das Open-Source-Framework Dynamo sowie llm-d. ModelExpress adressiert damit eine zentrale Engstelle moderner KI-Infrastrukturen und setzt einen neuen Standard für effizientes, latenzarmes Modell-Scaling.