تعلم نموذج مطابقة سياق-رد فعال باستخدام المهام ذاتية الإشراف للحوار المستند إلى الاسترجاع

بناء نظام حوار ذكي قادر على اختيار استجابة مناسبة وفقًا لسياق متعدد الأدوار هو مهمة صعبة للغاية. تركز الدراسات الحالية على بناء نموذج مطابقة السياق-الاستجابة باستخدام مجموعة متنوعة من الهندسات العصبية أو النماذج اللغوية المسبقة التدريب (PLMs) وغالبًا ما يتم التعلم مع مهمة واحدة لتنبؤ الاستجابة. ومع ذلك، فإن هذه الأساليب تتجاهل العديد من الإشارات التدريبية المحتملة الموجودة في بيانات الحوار، والتي قد تكون مفيدة لفهم السياق وإنتاج خصائص أفضل لتنبؤ الاستجابة. بالإضافة إلى ذلك، لا تزال الاستجابات المستخرجة من أنظمة الحوار القائمة التي يتم إشرافها بالطريقة التقليدية تواجه بعض التحديات الحرجة، بما في ذلك عدم التجانس والتناقض. لحل هذه المشكلات، نقترح في هذا البحث تعلم نموذج مطابقة السياق-الاستجابة باستخدام مهام ذاتية غير مراقبة تم تصميمها للبيانات الحوارية بناءً على النماذج اللغوية المسبقة التدريب. بشكل خاص، نقدم أربع مهام ذاتية غير مراقبة تشمل تنبؤ الجلسة التالية، وإعادة بناء الجملة، وكشف عدم التجانس، وتمييز التجانس، ونقوم بتدريب نموذج اختيار الاستجابة القائم على PLM مع هذه المهام المساعدة بطريقة متعددة المهام. بهذه الطريقة، يمكن للمهام المساعدة أن توجه عملية تعلم نموذج المطابقة لتحقيق نقطة أمثلة محلية أفضل واختيار استجابة أكثر ملاءمة. تشير نتائج التجارب على قاعدتين للمعايير إلى أن المهام الذاتية غير المراقبة المقترحة تحقق تحسينًا كبيرًا في اختيار الاستجابات المتعددة الأدوار في الحوارات القائمة على الاسترجاع، وأن نموذجنا حقق أفضل النتائج حتى الآن على كلا المجموعتين البيانات.