2.8万亿印度语预训练语料与开源数据生成管线

英伟达与印度理工学院马德拉斯分校AI4Bharat实验室宣布，即将开源Nemotron-pretraining-Indic-v1印度语言预训练语料及配套数据生成管线。该语料覆盖印度宪法列出的22种官方语言，总量约2.8万亿token，包含22种原生文字和12种罗马化文字共34种配置，可为印度语言模型提供更充足训练资源。数据来自网页、问答、数学、代码等内容的15个英语文档子集，经文档级翻译、质量评估、反馈修复和脚本转换生成，并保留来源记录以支持审计。团队同时公开提示词、工作流和质检流程，开发者可引入自有文档扩展数据。该语料已用于Nemotron 3.5 Super VL持续预训练，新增100亿token后，模型在五项印度语言知识与推理基准上提升4.98至9.82个百分点；新一代模型在多数任务指标和印度语言质量方面改善。AI4Bharat负责人米特斯·卡普拉表示，印度语言技术落后主要受制于数据不足，开放数据与生成流程将帮助社区构建更强印度语言模型。