ViT5: نموذج تransformer مُدرب مسبقًا لتوليد النصوص باللغة الفيتنامية

نقدم نموذج ViT5، وهو نموذج مُعدٍ مسبقًا يستند إلى محول (Transformer) للغة الفيتنامية. تم تدريب ViT5 باستخدام طريقة التعلم الذاتي المُشرف عليها ذاتيًا على غرار T5 على مجموعة كبيرة من النصوص الفيتنامية عالية الجودة ومتنوعة. قمنا بتقييم أداء ViT5 في مهمتين أساسيتين لتكوين النص، وهما تلخيص النص الاستنتاجي وتحديد الكيانات الاسمية. رغم أن تلخيص النص الاستنتاجي قد تم دراسته بشكل واسع للغة الإنجليزية بفضل توفر كميات كبيرة ومتنوعة من البيانات، فإن البحث في نفس المهمة للغة الفيتنامية، وهي لغة ذات موارد أقل بكثير، كان محدودًا جدًا. في هذا العمل، أجرينا تجارب شاملة على كل من تلخيص النص الاستنتاجي بالفيتنامية وتحديد الكيانات الاسمية، حيث قارنا أداء ViT5 مع العديد من النماذج الأخرى المستندة إلى المحولات والمُعدَّة مسبقًا. أظهرت نتائج التجارب أن ViT5 يتفوق بشكل كبير على النماذج الموجودة ويحقق أفضل النتائج الحالية في تلخيص النص بالفيتنامية. بالنسبة لمهمة تحديد الكيانات الاسمية، يعتبر أداء ViT5 تنافسيًا مقابل أفضل النتائج السابقة التي حققتها النماذج المُعدَّة مسبقًا والمستندة إلى المحولات المُشفرة (encoder). كما كشف التحليل الأعمق عن أهمية طول السياق أثناء التعلم الذاتي المُشرف عليه ذاتيًا في تحقيق الأداء الجيد للمهام اللاحقة في مختلف الإعدادات.