تدريب مسبق للغات الهندية: 2.8 تريليون توكن وخط بيانات مفتوح
أعلنت إنفيديا بالشراكة مع مختبر إي فور بهارات في معهد الهند للتكنولوجيا في مدراس عن مجموعة بيانات هندية للتدريب المسبق تضم نحو 2.8 تريليون رمز في 22 لغة من اللغات المنصوص عليها في الدستور الهندي، وستطرح قريبا بصيغة مفتوحة مع خط توليد بيانات سريع قائم على وحدات معالجة الرسوم. وتغطي اللغات الأم لحوالي 97 بالمئة من السكان، أو نحو 1.2 مليار نسمة وفق تعداد 2011. وتعالج المجموعة نقص البيانات الذي يعيق تطوير نماذج لغوية هندية قوية مقارنة بالإنجليزية. وتوفر نصوصا بالكتابات الأصلية لجميع اللغات، وأخرى مكتوبة بالحروف اللاتينية لـ12 لغة، لتصل إلى 34 إعدادا بين لغة وحرف. وتستند العملية إلى ترجمة مواد إنجليزية منسقة تشمل الرياضيات والشيفرة والأسئلة والأجوبة والنصوص العامة، مع فحص جودة آلي واستدراك المخرجات المنخفضة الجودة باستخدام أسس تقييم مستوحاة من مقاييس الجودة متعددة الأبعاد، والاحتفاظ فقط بالنصوص التي تحقق خمسة وسبعين من مئة. وساعدت هذه الخطوات في استعادة نحو 438.4 مليار رمز، ولكل سجل مصدر واضح يربطه بالمستند الأصلي. واعتمد الفريق مسارا مزدوجا لـ12 لغة: ترجمة المستند كاملا باستخدام نموذج لغوي كبير، ثم تقييمه مقابل النص الأصلي، وإصلاح الترجمات المنخفضة، ثم تحويل جزء من الترجمات المقبولة إلى الحروف اللاتينية بعد مراجعتها، لأن هذا يقلل الإضافات غير المدققة واللغة الإنجليزية المتبقية. أما في 10 لغات أخرى، فاستخدم الفريق مسارا معدلا لمعالجة النصوص الطويلة وثبات الحروف، مع إنتاج الكتابات الأصلية فقط في هذه المسارات. ويؤكد المطورون أن البيانات الاصطناعية لا تحل محل النصوص المكتوبة أصلا بلغات هندية، لأن التقييم البشري محدود ومتباين، وقد لا تستوعب معرفة محلية وثقافية كاملة، لذلك ينصح بدمجها مع نصوص طبيعية واختيار الخلط المناسب لكل استخدام. وكان للمجموعة أثر مبكر في نموذج نيموترون 3.5 سوبر في إل، إذ أضافت مرحلة تدريب إضافية 10 مليارات رمز هندي، فارتفعت النتائج في خمسة اختبارات هندية للمعرفة والاستنتاج بفوارق بين 4.98 و9.82 نقطة مئوية. وتفوق الجيل الجديد على الجيل السابق في 5 من 6 اختبارات مهمة شملت المعرفة والاستنتاج والرياضيات والشيفرة والترجمة، كما تحسنت جودة الأسلوب في أربعة مقاييس هندية، رغم تراجع طفيف بلغ 2.04 نقطة في اختبار اتباع التعليمات. وتطرح إنفيديا مع المجموعة وصفة مفتوحة تشمل الإرشادات وسير عمل النماذج وآليات الجودة، بما يتيح للمطورين إعادة الإنتاج أو التكييف مع وثائقهم الخاصة. ويهدف المشروع إلى توسيع قاعدة البيانات الهندية المفتوحة وبناء نماذج أقوى يمكن تدقيقها وتطويرها مجتمعيا.
