Offene Pipeline bringt 2,8 Billionen Indic-Pretraining-Token

NVIDIA, das Indian Institute of Technology Madras und dessen KI-Labor AI4Bharat haben das bevorstehende Vortrainingskorpus Nemotron-pretraining-Indic-v1 angekündigt, das rund 2,8 Billionen Token in 22 in der indischen Verfassung verankerten Sprachen umfasst. Die Sprachen sind die Muttersprachen von 97 Prozent der indischen Bevölkerung nach Daten der Volkszählung 2011. Das Datenpaket soll in Kürze zusammen mit einer offenen, GPU-beschleunigten Verarbeitungskette veröffentlicht werden, mit der Übersetzung, Qualitätsprüfung und gezielte Reparatur von synthetischem Text automatisiert ablaufen können. Der Korpus enthält 2,6 Billionen Token in nativen Schriften sowie 224,6 Milliarden Token in romanisierter Form und deckt damit 34 Sprach- und Schriftkonfigurationen ab. Für zwölf Sprachen stehen beide Schriftvarianten bereit, darunter Hindi, Bengali, Tamil und Urdu; zehn weitere Sprachen sind nur in ihrer jeweiligen Nationalschrift vorhanden. Alle Einträge sind rückverfolgbar auf kuratierte englische Quelldokumente zurückgeführt, darunter Webtexte, Frage-Antwort-Daten, Mathematik und Programmcode. Damit soll synthetisches Material verfügbar werden, das technische Konzepte erklärt, Probleme löst und Fragen in indischen Sprachen beantwortet. Die Erstellung basiert auf dem offenen Entwicklungsrahmen NeMo Data Designer. In einem vierstufigen Verfahren werden ganze Dokumente übersetzt, mit Qualitätskriterien geprüft, fehlerhafte Ausgaben repariert und in einzelnen Fällen in lateinische Schrift umgewandelt. Für zehn weitere Sprachen kommt das Übersetzungsmodell Indic Translate von Bodhan AI zum Einsatz, ergänzt durch automatisierte Qualitätskontrollen. Übersetzungen, die unter 75 von 100 Punkten liegen, werden im Zwölfsprachen-Verfahren überarbeitet und erneut bewertet. Der Datensatz wurde bereits zur fortgesetzten Vortrainierung von Nemotron 3.5 Super VL eingesetzt. Dabei flossen 10 Milliarden Token aus einer Zwölfsprachen-Teilmenge sowie natürlich verfasster indischer Text in ein Gesamttraining mit 100 Milliarden Token ein. Auf fünf Prüfungen für indische Wissens- und Schlussfolgerungsfähigkeit stiegen die Ergebnisse je nach Aufgabe um 4,98 bis 9,82 Prozentpunkte. Im Vergleich zur vorherigen Modellgeneration verbesserte sich Nemotron 3.5 Super VL bei fünf von sechs getesteten Aufgaben und in allen vier IndiVibe-Kategorien für Nützlichkeit, Flüssigkeit, Sprach- und Schrifttreue sowie angemessene Ausführlichkeit. Die Veröffentlichung zielt darauf ab, die Datenknappheit indischer Sprachmodelle zu verringern. Mitesh Khapra, Leiter von AI4Bharat, hat das Fehlen ausreichender Datensätze wiederholt als zentrales Hindernis beschrieben. Durch die gemeinsame Offenlegung von Daten und Generierungsrezept können Entwicklergruppen die Verarbeitungskette an eigene Dokumente anpassen, eigene Mischungen evaluieren und weitere Sprachen ergänzen. Die Herausgeber weisen jedoch darauf hin, dass das Material natürlich verfassten indischen Text nicht ersetzt und kulturelle Abdeckung nicht automatisch gewährleistet. Zusätzlich unterstützt NVIDIA AI4Bharat beim Aufbau der offenen Prüf- und Bewertungssammlung Indic-LLM-Eval-Suite.