NVIDIA Run:ai Model Streamer réduit drastiquement les délais de démarrage froid pour les LLM

Le déploiement de grands modèles linguistiques (LLM) soulève des défis majeurs en matière d’efficacité d’inférence, notamment en raison des délais de démarrage froid — le temps nécessaire pour charger les poids du modèle en mémoire GPU. Ces retards, souvent importants dans les environnements cloud ou à forte demande imprévisible, affectent directement l’expérience utilisateur et la scalabilité. Les modèles modernes nécessitent parfois des dizaines voire des centaines de gigaoctets de mémoire, ce qui accentue les contraintes de bande passante et de latence. Pour répondre à ce défi, NVIDIA et Run:ai ont lancé Model Streamer, un SDK open source en Python conçu pour réduire significativement ces délais. Ce outil utilise un backend C++ hautement performant pour lire les poids du modèle depuis diverses sources de stockage (disques locaux, systèmes de fichiers réseau, Amazon S3) et les transmettre directement en mémoire GPU, en exploitant la concurrence. Contrairement aux méthodes traditionnelles séquentielles, Model Streamer permet de lire des tenseurs depuis le stockage tout en transférant d’autres tenseurs de la mémoire CPU vers la GPU, grâce à l’architecture PCIe qui permet un accès direct entre GPU et CPU. Les tests ont comparé Model Streamer aux chargeurs standard : Hugging Face Safetensors Loader et CoreWeave Tensorizer, sur trois types de stockage : SSD GP3, SSD IO2 et Amazon S3. Les résultats montrent que Model Streamer réduit drastiquement le temps de chargement, notamment dans les environnements cloud. Sur un SSD IO2, il atteint une accélération de 6x par rapport à Safetensors Loader. Sur S3, il surpasse Tensorizer, passant de 37 secondes à 4,88 secondes avec 32 threads, grâce à une meilleure gestion de la concurrence et de la bande passante. Un point clé est la compatibilité native avec le format Safetensors, évitant toute conversion des poids. De plus, Model Streamer s’intègre facilement à des moteurs d’inférence comme vLLM, où il réduit le temps total de préparation du modèle à seulement 23,18 secondes sur S3 — contre 65,18 secondes avec Tensorizer. Ces gains sont cruciaux pour les systèmes en production, où chaque seconde compte. Les experts du secteur soulignent que la gestion du chargement des modèles est désormais aussi critique que celle du calcul lui-même. L’approche par streaming concurrent, comme celle proposée par Model Streamer, représente une avancée majeure pour les infrastructures cloud-native. Elle permet de tirer pleinement parti de la bande passante des stockages haut débit, tout en maintenant une faible latence. Pour les entreprises déployant des LLM à grande échelle, cette solution offre une optimisation immédiate, simple à intégrer et à haute valeur ajoutée. En résumé, Model Streamer s’impose comme un outil indispensable pour réduire la latence de démarrage froid, saturer les capacités de stockage et accélérer le temps d’inférence. Il s’agit d’une avancée concrète vers des systèmes d’inférence plus rapides, scalables et réactifs, particulièrement dans les environnements dynamiques et distribués.