منذ 2 أشهر

معيار GEM: إنشاء اللغة الطبيعية، تقييمها ومقاييسها

Sebastian Gehrmann; Tosin Adewumi; Karmanya Aggarwal; Pawan Sasanka Ammanamanchi; Aremu Anuoluwapo; Antoine Bosselut; Khyathi Raghavi Chandu; Miruna Clinciu; Dipanjan Das; Kaustubh D. Dhole; Wanyu Du; Esin Durmus; Ondřej Dušek; Chris Emezue; Varun Gangal; Cristina Garbacea; Tatsunori Hashimoto; Yufang Hou; Yacine Jernite; Harsh Jhamtani; Yangfeng Ji; Shailza Jolly; Mihir Kale; Dhruv Kumar; Faisal Ladhak; Aman Madaan; Mounica Maddela; Khyati Mahajan; Saad Mahamood; Bodhisattwa Prasad Majumder; Pedro Henrique Martins; Angelina McMillan-Major; Simon Mille; Emiel van Miltenburg; Moin Nadeem; Shashi Narayan; Vitaly Nikolaev; Rubungo Andre Niyongabo; Salomey Osei; Ankur Parikh; Laura Perez-Beltrachini; Niranjan Ramesh Rao; Vikas Raunak; Juan Diego Rodriguez; Sashank Santhanam; João Sedoc; Thibault Sellam; Samira Shaikh; Anastasia Shimorina; Marco Antonio Sobrevilla Cabezudo; Hendrik Strobelt; Nishant Subramani; Wei Xu; Diyi Yang; Akhila Yerukola; Jiawei Zhou

الملخص

نقدم GEM، وهو معيار حي لتقنيات توليد اللغة الطبيعية (NLG) وتقييمها ومقاييسها. يعتمد قياس التقدم في توليد اللغة الطبيعية على نظام بيئي متغير باستمرار يتضمن مقاييس آلية، ومجموعات بيانات، ومعايير تقييم بشرية. نظرًا لهذه الهدف المتحركة، غالبًا ما لا يزال يتم تقييم النماذج الجديدة على مجموعات بيانات ذات مركزية إنجليزية متباعدة باستخدام مقاييس معروفة ولكنها معيبة. هذا الانفصال يجعل من الصعب تحديد حدود النماذج الحالية والفرص المتاحة للتقدم. لمعالجة هذه المشكلة، يوفر GEM بيئة يمكن فيها تطبيق النماذج بسهولة على مجموعة واسعة من المهام واختبار استراتيجيات التقييم. ستساعد التحديثات الدورية للمعيار في جعل أبحاث توليد اللغة الطبيعية أكثر تنوعًا من حيث اللغات وتطور التحدي إلى جانب النماذج. يُعد هذا البحث وصفًا للبيانات التي ننظم حولها مهمة مشتركة في ورشة عملنا ضمن مؤتمر ACL 2021، والتي ندعو إليها المجتمع بأكمله في مجال توليد اللغة الطبيعية للمشاركة.