HyperAIHyperAI
منذ 2 أشهر

يوني-إنكودر: نموذج اختيار استجابة سريع ودقيق لأنظمة الحوار القائمة على التوليد

Chiyu Song; Hongliang He; Haofei Yu; Pengfei Fang; Leyang Cui; Zhenzhong Lan
يوني-إنكودر: نموذج اختيار استجابة سريع ودقيق لأنظمة الحوار القائمة على التوليد
الملخص

العين والترتيب (Sample-and-rank) هي استراتيجية فك رموز رئيسية لأنظمة المحادثة الحديثة القائمة على التوليد. تساعد هذه الاستراتيجية في تحقيق ردود متنوعة وعالية الجودة من خلال اختيار إجابة من مجموعة صغيرة من المرشحين المولدين. تعتمد الطرق الحالية الأكثر تقدماً في الترتيب بشكل أساسي على نموذج ترميز يُعرف بـ "ترميز العبور" (Cross-Encoder)، الذي يقوم بترميز كل زوج من السياق والمرشح بشكل منفصل ويصنف المرشحين بناءً على درجات ملاءمتهم. ومع ذلك، فإن "ترميز العبور" (Cross-Encoder) يقوم بتكرار ترميز نفس السياق الطويل لكل مرشح، مما يؤدي إلى زيادة التكاليف الحسابية. يعالج "تعدد الترميز" (Poly-Encoder) المشكلات المذكورة أعلاه عن طريق تقليل التفاعل بين السياق والمرشحين، ولكن بموجب انخفاض الأداء. في هذا العمل، طورنا نموذجاً جديداً يُعرف بـ "ترميز الوحدة" (Uni-Encoder)، الذي يحافظ على الاهتمام الكامل بكل زوج كما هو الحال في "ترميز العبور" (Cross-Encoder)، مع ترميز السياق مرة واحدة فقط كما هو الحال في "تعدد الترميز" (Poly-Encoder). يقوم "ترميز الوحدة" (Uni-Encoder) بترميز جميع المرشحين مع السياق في عملية تغذية واحدة. نستخدم نفس تمثيل الموقع لجميع المرشحين للتأكد من معاملتهم بالتساوي ونصمم آلية اهتمام جديدة لتجنب الارتباك. يمكن لـ "ترميز الوحدة" (Uni-Encoder) محاكاة النماذج الأخرى للترتيب باستخدام طرق مختلفة للاهتمام وللربط بالردود. أظهرت التجارب الشاملة أن النموذج المقترح لدينا حقق نتائج جديدة وأكثر تقدماً على أربع مجموعات بيانات معيارية مع كفاءة حسابية عالية. على سبيل المثال، يحسن R10@1 بنسبة 2.9% مع سرعة استدلال تقريباً أسرع بأربع مرات على مجموعة بيانات Ubuntu V2.

يوني-إنكودر: نموذج اختيار استجابة سريع ودقيق لأنظمة الحوار القائمة على التوليد | أحدث الأوراق البحثية | HyperAI