شبكات العصبي المتكررة متعددة الدقة: تطبيق في إنشاء ردود الحوار

نقدم شبكة العصبيات المتكررة متعددة الدقة (Multiresolution Recurrent Neural Network)، والتي تمتد إطار التحويل من تسلسل إلى تسلسل لنمذجة إنتاج اللغة الطبيعية كعملية احتمالية منفصلة متوازية مكونة من سلسلتين: سلسلة من الرموز الخشنة عالية المستوى، وسلسلة من رموز اللغة الطبيعية. هناك العديد من الطرق لتقدير أو تعلم الرموز الخشنة عالية المستوى، ولكننا ندعي أن إجراء استخراج بسيط يكفي للتقاط ثروة من معاني الخطاب على مستوى عالٍ. يسمح هذا الإجراء بتدريب الشبكة العصبية المتكررة متعددة الدقة عن طريق تعظيم الاحتمال المشترك المحدد على كلتا السلاسل. بالمقارنة مع الهدف التقليدي للاحتمال المشترك بالنسبة لرموز اللغة الطبيعية (الحيرة الكلامية)، فإن تحسين الاحتمال المشترك يميل بالنموذج نحو نمذجة التجريدات عالية المستوى. نطبق النموذج المقترح على مهمة إنشاء ردود في حوارين في مجالين صعبين: مجال الدعم الفني لأوبونتو (Ubuntu) ومحادثات تويتر. في أوبونتو، حقق النموذج نتائج أفضل بكثير من الأساليب المنافسة، حيث حقق أفضل النتائج وفقًا للمعايير التقييمية الآلية والدراسة التقييمية البشرية. على تويتر، يبدو أن النموذج يولد ردودًا أكثر صلة وملاءمة للموضوع وفقًا للمعايير التقييمية الآلية. أخيرًا، تظهر تجاربنا أن النموذج المقترح أكثر قدرة على التغلب على ندرة اللغة الطبيعية وأفضل في التقاط الهيكل طويل الأجل.