NVIDIA présente une nouvelle génération de modèles ouverts, les Nemotron, conçus pour faciliter le développement d’agents intelligents agissants (agentic AI) dans des workflows spécialisés. Ces modèles, dévoilés lors de la conférence GTC DC, combinent raisonnement, vision, récupération d’information (RAG) et sécurité, offrant une écosystème complet pour des applications réelles. Trois éléments clés sont requis pour construire ces agents : des modèles open-source ajustables, des jeux de données robustes, et des recettes optimisées pour l’efficacité computationnelle et l’inference à grande échelle. Le Nemotron Nano 3, un modèle MoE de 32 milliards de paramètres avec seulement 3,6 milliards actifs, est conçu pour une exécution efficace. Il offre un débit supérieur aux modèles denses similaires, améliorant la capacité de raisonnement, la réflexion autonome et la précision dans des tâches scientifiques, de codage, de mathématiques et d’appel d’outils. Son architecture MoE réduit les coûts de calcul et la latence. Le Nemotron Nano 2 VL, un modèle multimodal de 12 milliards de paramètres, excelle dans l’intelligence documentaire et la compréhension vidéo. Basé sur une architecture hybride Mamba-Transformer et entraîné sur plus de 11 millions d’exemples du dataset Nemotron VLM V2, il surpasse les benchmarks en Q&A visuelle, reconnaissance optique de caractères (OCR), rédaction de légendes détaillées et raisonnement sur des séquences vidéo. Une innovation majeure, l’Echantillonnage Vidéo Efficace (EVS), supprime les parties statiques des vidéos, réduisant la redondance des tokens sans perte de sens, ce qui permet jusqu’à 2,5 fois plus de débit. Disponible en FP4, FP8 et BF16, il est compatible avec vLLM et TRT-LLM, et accessible via NVIDIA NIM. Le Nemotron Parse 1.1, un modèle compact de 1 milliard de paramètres, excelle dans l’extraction structurée de texte, de tableaux et de mise en page à partir d’images. Il atteint des performances leader sur PubTabNet, améliorant la précision des récupérateurs et enrichissant les données d’entraînement pour les LLM et VLM. Pour les pipelines RAG, Nemotron RAG offre des modèles d’embedding performants sur des benchmarks comme ViDoRe, MTEB et MMTEB, garantissant une récupération de données précise et sécurisée, même dans des environnements privés. Intégré à NVIDIA AI-Q et au blueprint RAG, il soutient des applications complexes comme les assistants collaboratifs, les systèmes multi-agents et les outils de synthèse de rapports. La sécurité est au cœur de cette initiative avec le Llama 3.1 Nemotron Safety Guard 8B V3, un modèle multilingue fine-tuné sur un dataset culturellement diversifié de plus de 386 000 exemples. Il détecte le contenu dangereux dans 23 catégories et 9 langues (dont arabe, hindi, japonais) avec une précision de 84,2 % et une latence faible. Deux techniques inédites — adaptation culturelle pilotée par LLM et filtrage de cohérence — garantissent une modération fiable et contextuelle. Enfin, NVIDIA NeMo propose un SDK d’évaluation open-source (NeMo Evaluator) et un toolkit d’agents (NeMo Agent Toolkit) pour évaluer, optimiser et déployer des agents intelligents, avec une fonction d’optimisation automatique des hyperparamètres. Les modèles Nemotron sont disponibles sur Hugging Face, via des fournisseurs d’inference (Baseten, Deep Infra, etc.) et sur build.nvidia.com. Ils marquent une avancée majeure vers une IA ouverte, efficace et responsable.