NVIDIA lance Nemotron 3 Super, modèle hybride pour l'IA agentique
Nvidia lance officiellement Nemotron 3 Super, un modèle d'architecture hybride open-source conçu spécifiquement pour relever les défis complexes des systèmes multi-agents. Avec une taille totale de paramètres atteignant 120 milliards et 12 milliards de paramètres actifs, ce modèle vise à équilibrer la profondeur du raisonnement et l'efficacité calculatoire afin de résoudre les problèmes d'"explosion contextuelle" et de "coût cognitif" auxquels sont confrontés les agents lors de tâches longues. Nemotron 3 Super adopte une architecture innovante d'Experts Mixtes (MoE) combinant Mamba et Transformer. Les couches Mamba offrent une capacité de traitement séquentiel avec une complexité temporelle linéaire, couplée à une fenêtre de contexte native de plusieurs millions de jetons, garantissant ainsi que les agents peuvent maintenir une mémoire à long terme tout en assurant leur cohérence par rapport aux objectifs. Des couches d'attention Transformer sont intégrées entre ces modules pour assurer le repérage précis des faits clés au sein de masses d'informations considérables. De plus, le modèle introduit la technologie « MoE potentiel », qui permet de quadrupler le nombre d'experts dans des conditions de coût équivalentes grâce à la compression de l'espace d'inclusion, réalisant ainsi une répartition des tâches plus fine. Associée à la technique de prédiction multijettons (MTP), cette approche améliore significativement tant sur le plan de la logique que celui de la vitesse de génération, aussi bien durant l'entraînement qu'à l'exécution ; la vitesse d'appel structuré aux outils peut être accélérée jusqu'à trois fois. En matière d'entraînement, le modèle utilise nativement le format Nvidia FP4 (NVFP4) pour sa phase préliminaire, réduisant l'utilisation de la mémoire vidéo sans compromettre la précision. Le processus d'entraînement englobe trois phases : la préformation, l'affinement supervisé et l'apprentissage par renforcement dans divers environnements, conférant au système une robustesse éprouvée face aux flux de travail complexes. Selon les tests effectués sur la suite de référence PinchBench, Nemotron 3 Super obtient un score de 85,6 %, se distinguant comme l'un des meilleurs modèles ouverts de sa catégorie. Entièrement ouvert, le modèle inclut ses poids, son jeu de données et son guide d'entraînement (« recipe »), permettant aux développeurs de le déployer librement localement ou dans le cloud. Nvidia fournit également des guides complets d'affinement et un kit de déploiement, compatibles notamment avec les cadres d'agents tels qu'OpenClaw pour leurs expérimentations et évaluations. Le lancement de Nemotron 3 Super marque l'avènement d'une nouvelle étape pour l'intelligence artificielle multi-agent ouverte, offrant un moteur de raisonnement efficace et fiable pour des scénarios applicatifs à haute valeur ajoutée tels que le génie logiciel et la cybersécurité.
