NVIDIA dévoile Nemotron Nano 2 9B : un modèle d’IA raisonnable ultra-performant pour l’edge, avec un budget de réflexion configurable et jusqu’à 60 % d’économie de coûts

` dans le flux de sortie, l’inférence s’arrête après un nombre défini de tokens, évitant ainsi la génération inutile de contenu. Cette approche permet de réduire jusqu’à 60 % les coûts d’inférence sans compromettre significativement la qualité des réponses, un avantage majeur pour les applications sensibles au coût comme le support client ou les agents autonomes. Le modèle est également disponible via NVIDIA NIM (NVIDIA Inference Microservices), facilitant son déploiement rapide sur des infrastructures locales ou cloud. Le développement de Nemotron Nano 2 s’appuie sur une chaîne de post-entraînement rigoureuse : après une phase de fine-tuning supervisé sur des données équilibrées (mathématiques, science, outils, conversation), le modèle est affiné par apprentissage par renforcement et optimisation basée sur les préférences pour garantir une bonne alignement éthique et fonctionnel. Il est issu d’un modèle de base de 12 B paramètres (NVIDIA-Nemotron-Nano-12B-v2-Base), compressé via une méthode de prunage combinée à une distillation de connaissance. Grâce au cadre Minitron, une recherche d’architecture automatisée a permis d’optimiser la profondeur, la largeur et le nombre de têtes Mamba, tout en restant dans les limites mémoire d’un GPU A10G (22 GiB). Le modèle final, à 9 B paramètres, conserve une performance élevée tout en étant exécutable sur des équipements embarqués. Les développeurs peuvent l’expérimenter dès maintenant via build.nvidia.com, avec un exemple de client Python intégrant le budget de réflexion. L’ensemble des données d’entraînement, les poids et les techniques sont open-source, soutenant l’innovation collaborative. En résumé, Nemotron Nano 2 9B représente une avancée majeure pour le déploiement d’agents IA performants, précis et économiques à la périphérie, en offrant un équilibre inégalé entre puissance, efficacité et contrôle.