تدريب أنظمة المحادثة من الطرف إلى الطرف باستخدام مجموعة بيانات المحادثات أوبونتو

في هذه الورقة، نقوم بتحليل أنظمة المحادثة القائمة على الشبكات العصبية التي تم تدريبها بطريقة نهائية (end-to-end) باستخدام نسخة محدثة من مجموعة بيانات Ubuntu Dialogue الحديثة، وهي مجموعة بيانات تحتوي على ما يقارب المليون محادثة متعددة الأدوار، بحوالي 7 ملايين تعبير و100 مليون كلمة. تُعد هذه المجموعة مثيرة للاهتمام بسبب حجمها الكبير، وطول طول السياق، وطبيعتها التقنية؛ وبالتالي، يمكن استخدامها لتدريب نماذج كبيرة مباشرة من البيانات مع تقليل الحد الأدنى من هندسة الميزات. نقدم قواعد مقارنة (baselines) في بيئةين مختلفين: الأول، حيث يتم تدريب النماذج لاختيار الاستجابة الصحيحة من قائمة من الاستجابات المرشحة، والثاني، حيث يتم تدريب النماذج لتعظيم الاحتمال اللوغاريتمي لتعبير مُولَّد مشروطًا بسياق المحادثة. يتم تقييم كلا النموذجين في مهمة استرجاع تُسمى تصنيف التعبير التالي (Next Utterance Classification - NUC)، بالإضافة إلى استخدام مقاييس قائمة على المتجهات التي تُقاس بها الموضوعية (الاتجاه الموضوعي) للردود. نلاحظ أن النماذج النهائية الحالية لا تتمكن من حل هذه المهام بشكل كامل؛ وبالتالي، نقدم تحليلًا كميًا للأخطاء لتحديد الأسباب الرئيسية للخطأ في النماذج النهائية عند تقييمها باستخدام NUC، ونقوم بتحليل أمثلة من التعبيرات الناتجة من النماذج التوليدية. وبموجب هذا التحليل، نقترح بعض الاتجاهات الواعدة للبحث المستقبلي على مجموعة بيانات Ubuntu Dialogue، والتي يمكن تعميمها أيضًا على أنظمة المحادثة النهائية بشكل عام.