HyperAIHyperAI
منذ 2 أشهر

دمج الترميزات المشتركة في الحوارات ذات الهدف باستخدام التعلم متعدد المهام

Firas Kassawat; Debanjan Chaudhuri; Jens Lehmann
دمج الترميزات المشتركة في الحوارات ذات الهدف باستخدام التعلم متعدد المهام
الملخص

قد أظهرت نماذج الشبكات العصبية القائمة على الترميز-التفكيك المستندة إلى الانتباه (Attention-based encoder-decoder neural network models) مؤخرًا نتائج واعدة في أنظمة الحوار الموجهة نحو الأهداف. ومع ذلك، تواجه هذه النماذج صعوبة في الاستدلال والدمج المعرفي الحالة الكاملة (state-full knowledge) مع الحفاظ على وظيفة توليد النص من البداية إلى النهاية (end-to-end text generation). نظرًا لأن هذه النماذج يمكن أن تستفيد بشكل كبير من دمج نوايا المستخدم ومخططات المعرفة (knowledge graphs)، فقد اقترحنا في هذا البحث معمارية ترميز-تفكيك مستندة إلى RNN يتم تدريبها باستخدام تمثيلات مشتركة لمخطط المعرفة والمكتبة كمدخلات. توفر النموذج دمجًا إضافيًا لنوايا المستخدم مع توليد النص، حيث يتم تدريبه باستخدام نمط التعلم متعدد المهام (multi-task learning paradigm) بالإضافة إلى تقنية تنظيم إضافية لمعاقبة إنتاج الكيان الخاطئ كمخرج. يدمج النموذج أيضًا استعلام الكيان من مخطط المعرفة أثناء الاستدلال لضمان أن يكون الإخراج المنتج قائمًا على حالة كاملة بناءً على مخطط المعرفة المحلي المعطى. وأخيرًا، قمنا بتقييم النموذج باستخدام درجة BLEU، حيث أظهر التقييم التجريبي أن هندستنا المقترحة يمكن أن تسهم في تحسين أداء نظام الحوار الموجه نحو الأهداف.

دمج الترميزات المشتركة في الحوارات ذات الهدف باستخدام التعلم متعدد المهام | أحدث الأوراق البحثية | HyperAI