HyperAIHyperAI

Command Palette

Search for a command to run...

يوني-إنكودر: نموذج اختيار استجابة سريع ودقيق لأنظمة الحوار القائمة على التوليد

Chiyu Song∗1,2 Hongliang He∗1,2 Haofei Yu3 Pengfei Fang4,2 Leyang Cui5 Zhenzhong Lan†2

الملخص

العين والترتيب (Sample-and-rank) هي استراتيجية فك رموز رئيسية لأنظمة المحادثة الحديثة القائمة على التوليد. تساعد هذه الاستراتيجية في تحقيق ردود متنوعة وعالية الجودة من خلال اختيار إجابة من مجموعة صغيرة من المرشحين المولدين. تعتمد الطرق الحالية الأكثر تقدماً في الترتيب بشكل أساسي على نموذج ترميز يُعرف بـ "ترميز العبور" (Cross-Encoder)، الذي يقوم بترميز كل زوج من السياق والمرشح بشكل منفصل ويصنف المرشحين بناءً على درجات ملاءمتهم. ومع ذلك، فإن "ترميز العبور" (Cross-Encoder) يقوم بتكرار ترميز نفس السياق الطويل لكل مرشح، مما يؤدي إلى زيادة التكاليف الحسابية. يعالج "تعدد الترميز" (Poly-Encoder) المشكلات المذكورة أعلاه عن طريق تقليل التفاعل بين السياق والمرشحين، ولكن بموجب انخفاض الأداء. في هذا العمل، طورنا نموذجاً جديداً يُعرف بـ "ترميز الوحدة" (Uni-Encoder)، الذي يحافظ على الاهتمام الكامل بكل زوج كما هو الحال في "ترميز العبور" (Cross-Encoder)، مع ترميز السياق مرة واحدة فقط كما هو الحال في "تعدد الترميز" (Poly-Encoder). يقوم "ترميز الوحدة" (Uni-Encoder) بترميز جميع المرشحين مع السياق في عملية تغذية واحدة. نستخدم نفس تمثيل الموقع لجميع المرشحين للتأكد من معاملتهم بالتساوي ونصمم آلية اهتمام جديدة لتجنب الارتباك. يمكن لـ "ترميز الوحدة" (Uni-Encoder) محاكاة النماذج الأخرى للترتيب باستخدام طرق مختلفة للاهتمام وللربط بالردود. أظهرت التجارب الشاملة أن النموذج المقترح لدينا حقق نتائج جديدة وأكثر تقدماً على أربع مجموعات بيانات معيارية مع كفاءة حسابية عالية. على سبيل المثال، يحسن R10@1 بنسبة 2.9% مع سرعة استدلال تقريباً أسرع بأربع مرات على مجموعة بيانات Ubuntu V2.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp