Dial-MAE: مُشغّل الترميز التلقائي المقنّع السياقي لأنظمة الحوار المستندة إلى الاسترجاع

اختيار الاستجابة في المحادثة يهدف إلى اختيار استجابة مناسبة من بين عدة خيارات بناءً على تاريخ التفاعلات بين المستخدم والنظام. تركز معظم الأعمال الحالية بشكل أساسي على التدريب بعد الأولي وضبط الدقة الموجه للشفرات المتقاطعة (Cross-Encoders). ومع ذلك، لا توجد طرق للتدريب بعد الأولي موجهة للشفرات الكثيفة (Dense Encoders) في اختبار الاستجابة في المحادثة. نعتقد أنه عندما يتم استخدام النموذج اللغوي الحالي، القائم على أنظمة المحادثة الكثيفة مثل BERT، كشفرة كثيفة، فإنه يقوم بترميز السياق والردود بشكل منفصل، مما يؤدي إلى صعوبة في تحقيق التناسق بين تمثيلاتهما. لذلك، نقترح Dial-MAE (شفرة التلقائي للكتمان السياقي للمحادثة)، وهي تقنية تدريب بعد الأولي بسيطة ولكنها فعالة وموجهة للشفرات الكثيفة في اختبار الاستجابة في المحادثة. يستخدم Dial-MAE هندسة معمارية غير متناظرة للترميز والفك لضغط معاني المحادثة في متجهات كثيفة، مما يحقق تناسقاً أفضل بين سمات السياق والردود في المحادثة. أظهرت تجاربنا أن Dial-MAE فعال للغاية، حيث حقق أداءً رائداً على مقاييس الأداء الشائعة المستخدمة في تقييمين شائعين.