NVIDIA ouvre 2 800 milliards de tokens en langues indiennes

NVIDIA et le laboratoire AI4Bharat de l’IIT Madras annoncent Nemotron-pretraining-Indic-v1, un corpus de pré-entraînement d’environ 2 800 milliards de jetons pour 22 langues indiennes, langues premières de 97 % de la population selon le recensement de 2011, soit près de 1,2 milliard de citoyens. L’ensemble sera publié avec une chaîne ouverte, accélérée par GPU, pour traduire, évaluer et réparer des textes synthétiques. Le corpus couvre 34 configurations langue-écriture : données en écriture native pour toutes les langues et transcription en alphabet latin pour douze d’entre elles. Il provient de documents anglais issus de textes web, questions-réponses, mathématiques, code et contenus spécialisés. La génération utilise NeMo Data Designer, un cadre ouvert de NVIDIA, et des modèles comme Gemma-4-31B-it pour traduire au niveau du document, évaluer chaque résultat avec une grille inspirée de la méthode MQM et conserver seulement les passages dépassant un seuil de qualité. Les traductions à faible score sont corrigées, puis revérifiées. Cette étape a récupéré 438,4 milliards de jetons supplémentaires dans les douze langues à double écriture. Pour dix autres langues, le flux utilise le modèle Indic Translate de Bodhan AI et se limite à des données en écriture native. L’objectif est de réduire le manque de données pour les technologies linguistiques indiennes. Mitesh Khapra, directeur d’AI4Bharat, a rappelé que l’écart avec l’anglais vient surtout de la rareté des corpus. La publication ne se limite pas aux données : prompts, workflows et contrôles sont ouverts afin que les équipes adaptent la recette à leurs propres sources. Ce corpus a déjà contribué au pré-entraînement continu de Nemotron 3.5 Super VL. Sur un budget de 100 milliards de jetons, 10 milliards étaient réservés à un mélange de texte indien synthétique et naturel. Le rapport technique indique une progression sur cinq tests de connaissance et de raisonnement en langues indiennes, avec des gains de 4,98 à 9,82 points. Face à la génération précédente, le modèle final améliore aussi plusieurs tâches, dont la mathématique, le code, la traduction et la qualité linguistique, avec une baisse limitée sur le suivi d’instruction. Les auteurs soulignent toutefois les limites : la traduction issue de l’anglais ne remplace pas les textes rédigés dans les langues concernées et ne garantit pas une couverture complète des savoirs locaux ou culturels. Le contrôle qualité est surtout automatisé, avec des validations humaines partielles. Les développeurs sont donc invités à associer ce corpus à des données naturelles authentifiées, tester les mélanges par langue et garder une traçabilité entre chaque sortie et son document source. En parallèle, AI4Bharat et NVIDIA poursuivent Indic-LLM-Eval-Suite, une suite de tests de référence pour mieux évaluer les capacités et la qualité linguistique des modèles indiens.