هل نماذج اختيار الاستجابة تعرف حقًا ما هو القادم؟ استراتيجيات التلاعب بالعبارات لاختيار الاستجابة متعددة الأدوار

في هذه الورقة، ندرس مهمة اختيار الاستجابة المثلى بناءً على تاريخ التفاعلات بين المستخدم والنظام في أنظمة الحوار المتعدد الدور القائمة على الاسترجاع. مؤخرًا، أظهرت النماذج اللغوية المدربة مسبقًا (مثل BERT، RoBERTa، وELECTRA) تحسينات كبيرة في مهام معالجة اللغة الطبيعية المختلفة. يمكن حل هذه المهمة ومهمات اختيار الاستجابة المشابهة باستخدام مثل هذه النماذج اللغوية من خلال صياغة المهام كمهام تصنيف ثنائية بين الحوار والاستجابة. رغم أن الأعمال الحالية التي تعتمد على هذا الأسلوب حققت نتائجًا رائدة في المجال، فقد لاحظنا أن النماذج اللغوية المدربة بهذه الطريقة تميل إلى إجراء التنبؤات استنادًا إلى العلاقة بين التاريخ والمرشحين، مما يتجاهل الطبيعة التتابعية لأنظمة الحوار المتعدد الدور. هذا يشير إلى أن مهمة اختيار الاستجابة بمفردها غير كافية لتعلم الارتباطات الزمنية بين الجمل المنطوقة. بهدف معالجة هذه المشكلة، نقترح استراتيجيات تعديل الجمل (UMS). تحديدًا، تتكون UMS من عدة استراتيجيات (أي الإدراج والحذف والبحث)، والتي تساعد نموذج اختيار الاستجابة على الحفاظ على تماسك الحوار. علاوة على ذلك، تعد UMS طرق ذاتية الإشراف ولا تتطلب تسمية إضافية وبالتالي يمكن دمجها بسهولة في الأساليب الحالية. أظهرت التقييمات الواسعة عبر العديد من اللغات والنماذج أن UMS فعالة للغاية في تعليم اتساق الحوار، مما يؤدي إلى تحقيق نماذج هامشًا كبيرًا من التقدم الرائد في المجال على عدة مجموعات بيانات مرجعية عامة.