ReGen: التعلم المعزز لإنشاء النصوص وقاعدة المعرفة باستخدام نماذج اللغة المُدرَّبة مسبقًا

إن إنشاء قواعد المعرفة ذات الصلة تلقائيًا من النصوص، وتكوين نصوص ذات معنى معنويًا من قواعد المعرفة، يُعدان من الأهداف الطويلة الأمد في التعلم الآلي. في هذا البحث، نقدّم نموذج ReGen، وهو نموذج يُنفّذ توليدًا ثنائي الاتجاه بين النصوص والرسوم البيانية، مستخدمًا التعلم بالتعزيز (Reinforcement Learning - RL) لتحسين الأداء. وتمكّن عملية تبسيط الرسوم البيانية (Graph linearization) من إعادة صياغة كلا المهمتين كمشكلة توليد تسلسلي من تسلسل إلى تسلسل، بغض النظر عن اتجاه التوليد، مما يسمح باستخدام التعلم بالتعزيز في تدريب التسلسلات، حيث يُستخدم النموذج نفسه كمُقيّم ذاتي، ما يؤدي إلى ما يُعرف بتدريب التسلسل ذاتي النقد (Self-Critical Sequence Training - SCST). ونقدّم دراسة موسعة تُظهر أن استخدام التعلم بالتعزيز عبر SCST يُحسّن أداء توليد الرسوم البيانية والنصوص على مجموعتي بيانات WebNLG+ 2020 وTekGen. كما يقدّم نموذجنا نتائج من الطراز الرائد (state-of-the-art) على مجموعة بيانات WebNLG+ 2020، حيث يُحسّن بشكل ملحوظ النتائج المنشورة من مسابقة WebNLG 2020+ في مهام توليد النص من الرسم البياني وتوليد الرسم البياني من النص.