AuGPT: المهام المساعدة وتوسيع البيانات للحوار من البداية إلى النهاية باستخدام نماذج اللغة المدربة مسبقًا

النماذج اللغوية المدربة مسبقًا المستندة إلى الانتباه مثل GPT-2 (GPT-2) قد أحدثت تقدمًا كبيرًا في نمذجة الحوار من النهاية إلى النهاية. ومع ذلك، فإنها تشكل أيضًا مخاطر كبيرة للحوار الموجه نحو المهام، مثل نقص التأصيل المعرفي أو التنوع. لمعالجة هذه القضايا، نقدم أهداف تدريب معدلة لتحسين النموذج اللغوي، ونستخدم زيادة البيانات الضخمة عبر الترجمة العكسية لزيادة تنوع بيانات التدريب. كما نقوم بفحص إمكانات دمج البيانات من مصادر متعددة لتحسين الأداء على مجموعة البيانات المستهدفة. نقيم مساهماتنا بعناية باستخدام طرق آلية وبشرية. يتفوق نموذجنا بشكل كبير على النموذج الأساسي في بيانات MultiWOZ ويظهر أداءً تنافسيًا مع أفضل التقنيات الحالية في كل من التقييم الآلي والتقييم البشري.