التدريب المسبق من النوع نص إلى نص للمهام من النوع بيانات إلى نص

نُجري دراسةً على استراتيجية التدريب المسبق + التدريب التفصيلي في المهام المتعلقة بتحويل البيانات إلى نص. تشير تجاربنا إلى أن التدريب المسبق النصي-إلى-النص على شكل T5 يمكّن النماذج البسيطة القائمة على المحولات من التفوق على الهياكل العصبية المتسلسلة المصممة خصيصًا لتحويل البيانات إلى نص، وكذلك على تقنيات التدريب المسبق القائمة على نماذج اللغة البديلة مثل BERT وGPT-2. ومن المهم الإشارة إلى أن التدريب المسبق باستخدام T5 يؤدي إلى تعميم أفضل، كما يُظهر ذلك تحسنًا كبيرًا في الأداء على مجموعات اختبار خارج المجال. نأمل أن يُسهم عملنا في كونه معيارًا مرجعيًا مفيدًا للبحث المستقبلي، مع تزايد انتشار التعلم المنقول في المهام المتعلقة بتحويل البيانات إلى نص.