اختيار الاستجابة متعددة الدورات للروبوتات الحوارية باستخدام شبكة التوافق العميق بالانتباه

يُولِّد البشر ردودًا تعتمد على الاعتماديات الدلالية والوظيفية، بما في ذلك علاقة التماثل (coreference relation)، بين عناصر الحوار وسياقها. في هذه الورقة، نستكشف مطابقة الرد مع سياقه متعدد الدورات باستخدام معلومات الاعتمادية المستمدة بالكامل من آلية الانتباه (attention). وتملّك حلّنا الحوافز من المُحَوِّل (Transformer) الذي اقترحه مؤخرًا في الترجمة الآلية (Vaswani et al., 2017)، ونُوسِّع آلية الانتباه بطرقتين. أولاً، نُنشئ تمثيلات لقطع النص على مستويات تفصيل مختلفة باستخدام فقط الانتباه الذاتي المتتالي (stacked self-attention). ثانيًا، نحاول استخراج أزواج القطع المطابقة فعليًا باستخدام الانتباه عبر السياق والرد. ونُدمج هاتين النوعين من الانتباه داخل شبكة عصبية موحدة واحدة. وأظهرت التجارب على مهامين كبيرتين ومتعددة الدورات لاختيار الردود أن النموذج المقترح يتفوّق بشكل ملحوظ على النماذج الرائدة في مجالها.