エヌビディアが2.8兆インド諸語トークンとデータ生成パイプライン公開

NVIDIAはインド工科大学マドラス校のAI4Bharatと共同で、インド憲法で指定された22言語の事前学習データセット「Nemotron-pretraining-Indic-v1」を近日公開する。総量は約2.8兆トークンで、全言語の現地文字表記と12言語のローマ字表記を含む計34設定を提供する。翻訳、品質評価、自動修復を行うGPU活用生成パイプラインも公開し、不足するインド語種資料を強化する。 英語文書をNemotron-CC-v2から選び、文書単位で翻訳して品質スコアで審査する。12言語では低得点文を修正して4384億トークンを回収し、10言語はBodhan AIの「Indic Translate」で長文や文字変換の課題に対応した。全記録に元文書IDを残し、追跡性を確保する。 データはNemotron 3.5 Super VLのインド語種継続事前学習でも使われた。100億トークンの学習予算のうち10億を投入した段階で、知識、推論、算数などのベンチマークが4.98から9.82ポイント向上し、自然な応答性や言語品質も改善した。 完成データだけでなく生成手順を公開する点が重要だ。開発者は既存コーパスを使うほかに、自前の英語文書を翻訳工程に投入し、コード、数式、表の保存設定を調整できる。NVIDIAはNeMo Data Designer向けプラグインで再現可能な合成データ作成を支援する。 翻訳データは現地文章や文化的文脈を代替しない。実用では自然テキストと併用し、言語別性能と英語能力維持を検証する必要がある。両者は評価用Indic-LLM-Eval-Suiteも整備し、オープンなインド言語モデル研究を推進する。