بناء نماذج الاستدلال التتابعي لاختيار الاستجابة من البداية إلى النهاية

يقدم هذا البحث نموذجًا متكاملًا لاختيار الردود لمسار 1 من التحدي السابع لأنظمة الحوار (DSTC7). يركز هذا المهمة على اختيار الرد الصحيح التالي من مجموعة مرشحين بناءً على جزء من المحادثة. نقترح استخدام شبكة عصبية متكاملة تعتمد على نموذج الاستدلال التتابعي المعزز (ESIM) لهذه المهمة. يختلف النموذج المقترح عن النموذج الأصلي ESIM في الجوانب الأربعة التالية:أولاً، تم تبني طريقة جديدة لتمثيل الكلمات تجمع بين التمثيلات الأولية للكلمات التي تم تدريبها بشكل عام وتلك التي تم تقديرها على مجموعة البيانات الخاصة بالمهمة، وذلك بهدف معالجة تحدي الكلمات خارج القاموس (OOV).ثانيًا، تم تصميم مشفِّر متكرر هرمي انتقائي (AHRE) قادر على ترميز الجمل بطريقة هرمية وإنتاج تمثيلات أكثر وصفية من خلال التجميع.ثالثًا، بدلاً من الجمع البسيط بين عمليات الاستخلاص القصوى والمتوسطة في النموذج الأصلي ESIM، يتم استخدام طريقة استخلاص جديدة تجمع بين الاستخلاص متعدد الأبعاد والاستخلاص الأخير.أخيرًا، تم إضافة طبقة تعديل قبل الطبقة softmax لتأكيد أهمية الرسالة الأخيرة في السياق لاختيار الرد.في نتائج التقييم المنشورة لـ DSTC7، حلَّ النموذج المقترح ثانياً على مجموعة بيانات Ubuntu وثالثاً على مجموعة بيانات Advising في الجزء الفرعي 1 من المسار 1.