NVIDIA dévoile une nouvelle génération de modèles spécialisés pour le développement d’agents IA agissants, avec l’annonce de ses nouveaux modèles Nemotron, intégrant des capacités avancées en raisonnement, vision, récupération augmentée (RAG) et sécurité. Ces modèles s’inscrivent dans une vision écosystémique où des modèles linguistiques et visuels collaboratifs planifient, raisonnent, récupèrent des informations et appliquent des garde-fous de sécurité. Pour construire des agents IA spécialisés, les développeurs ont besoin de modèles ouverts, de jeux de données robustes, de recettes optimisées pour la précision et l’efficacité computationnelle, ainsi que d’un déploiement à grande échelle. À l’occasion de GTC DC, NVIDIA présente plusieurs modèles clés. Le Nemotron Nano 3, un modèle MoE de 32 milliards de paramètres avec seulement 3,6 milliards actifs, offre une haute performance en raisonnement scientifique, codage, mathématiques et utilisation d’outils, tout en réduisant les coûts de calcul et la latence grâce à son architecture MoE. Il est conçu pour des systèmes agissants exigeant une exploration efficace de l’espace de recherche. Le Nemotron Nano 2 VL, modèle multimodal de 12 milliards de paramètres, excelle dans l’intelligence documentaire et l’analyse vidéo, notamment sur OCRBenchV2. Il repose sur une architecture hybride Mamba-Transformer, optimisée pour un haut débit de tokens et une faible latence. Entraîné sur plus de 11 millions d’exemples de haute qualité, il intègre une méthode innovante d’échantillonnage vidéo efficace (EVS) qui supprime les portions statiques, permettant un traitement plus rapide de longues séquences vidéo sans perte de précision. Disponible en formats FP4, FP8 et BF16, il est compatible avec vLLM et TRT-LLM, et accessible via NVIDIA NIM. Le Nemotron Parse 1.1, un modèle compact de 1 milliard de paramètres, améliore l’intelligence documentaire en extrayant de manière structurée du texte, des tableaux et des éléments de mise en page à partir d’images, avec des coordonnées et des classes sémantiques. Il bat des records sur PubTabNet, renforçant ainsi les pipelines de récupération et d’entraînement des modèles. Pour les applications basées sur la récupération d’information, Nemotron RAG offre une suite de modèles open-source conçus pour des pipelines RAG sécurisés et évolutifs, intégrant des embeddings performants sur des benchmarks comme ViDoRe, MTEB et MMTEB. Il s’inscrit dans les cadres NVIDIA AI-Q et NVIDIA RAG Blueprint, permettant des applications complexes comme des assistants collaboratifs, des outils de support technique ou des systèmes de synthèse de rapports. La sécurité est au cœur de ces avancées avec le Llama 3.1 Nemotron Safety Guard 8B V3, un modèle multilingue fine-tuné sur un jeu de données culturellement diversifié de plus de 386 000 exemples. Il détecte les contenus inappropriés dans huit langues (dont arabe, hindi, japonais) avec une précision de 84,2 %, grâce à deux innovations : une adaptation culturelle pilotée par LLM et un filtrage de cohérence pour éliminer les données bruitées. Déployable sur une seule GPU ou via NVIDIA NIM, il s’intègre à NeMo Guardrails pour une modération en temps réel. Enfin, NVIDIA NeMo offre des outils pour évaluer et optimiser les agents : l’SDK Evaluator permet des benchmarks reproductibles, tandis que le NeMo Agent Toolkit, compatible avec MCP, LangChain, CrewAI, etc., inclut un Agent Optimizer automatisant l’ajustement des hyperparamètres pour améliorer la précision, la fondation, la latence et l’efficacité. Les modèles sont disponibles sur Hugging Face, via des fournisseurs d’inference comme Baseten ou Replicate, et les API NVIDIA sont accessibles sur build.nvidia.com. Cette initiative renforce l’ouverture, l’efficacité et la responsabilité dans le développement d’agents IA agissants.