NVIDIA publie désormais sur Hugging Face Cosmos 3 Edge, un modèle open source de quatre milliards de paramètres conçu pour l'intelligence artificielle physique. Cette nouvelle plateforme permet aux robots et aux agents de vision par ordinateur de comprendre leur environnement, d'anticiper les événements et de générer des actions en temps réel, directement sur des appareils en périphérie à ressources limitées. Le modèle est optimisé pour fonctionner sur une large gamme de matériel NVIDIA, incluant les modules Jetson T2000 et T3000, les cartes GeForce RTX, les RTX PRO ainsi que les serveurs DGX. Il offre une inférence haute performance avec une faible empreinte mémoire, atteignant des résultats de pointe parmi les modèles de taille similaire sur le benchmark VANTAGE-Bench. Sur le processeur Jetson Thor, il assure un contrôle en temps réel à une fréquence de 15 hertz. Sur le plan technique, Cosmos 3 Edge repose sur une architecture à deux tours de transformateurs partageant des couches d'attention multimodales. Cette conception aligne les informations issues du langage, de la vidéo, de l'audio et des actions, créant une représentation unifiée qui relie les changements visuels aux mouvements physiques. Le système peut ainsi prédire la conséquence visuelle d'une manœuvre, en déduire l'action nécessaire ou simuler plusieurs scénarios futurs. Cette flexibilité le rend adapté aussi bien à la prise de décision qu'à la génération de vidéos réalistes. Pour faciliter l'adoption industrielle, NVIDIA propose également un mode politique pré-entraîné sur le jeu de données DROID, spécialisé dans les tâches de préhension et de placement. Des scripts et des points de contrôle d'entraînement postérieur sont mis à disposition afin que les développeurs puissent adapter le modèle à des cas d'usage spécifiques avant son déploiement sur le terrain. Parallèlement, une version distillée nommée Cosmos 3 Super 4-Step réduit considérablement le nombre d'étapes de débruitage, accélérant la génération d'images et de vidéos jusqu'à vingt-cinq fois sans altérer la qualité. À moyen terme, NVIDIA prévoit d'étendre les capacités de la plateforme Cosmos 3 vers la génération interactive d'environnements, la simulation de scénarios de conduite et le perfectionnement des politiques robotiques. L'entreprise travaille également à optimiser les inférences et à réduire les besoins en calcul pour l'entraînement, en collaborant avec des cadres de travail open source comme vLLM. Cette initiative marque une étape majeure vers la démocratisation de l'IA embarquée, en rapprochant le raisonnement et le contrôle des capteurs pour des applications industrielles et robotiques plus autonomes.