MMDialog: مجموعة بيانات حوارية متعددة الأدوار على نطاق واسع نحو محادثات مفتوحة متعددة الوسائط

تم الاعتراف بأن الاستجابة بالمحتوى متعدد الوسائط هي قدرة أساسية لمكالمة ذكية. في هذا البحث، نقدم مجموعة بيانات MMDialog لتسهيل المحادثات متعددة الوسائط بشكل أفضل. تتكون MMDialog من مجموعة مختارة بعناية تضم 1.08 مليون حوار حقيقي مع 1.53 مليون صورة فريدة عبر 4,184 موضوعًا. ولديها MMDialog ميزتان رئيسيتان وفريدتان. الأولى، أنها أكبر مجموعة بيانات للمحادثات متعددة الوسائط بعدد الحوارات بـ 88 ضعفًا. الثانية، تحتوي على مواضيع ضخمة لتعميم المجال المفتوح. لبناء نظام حوار جذاب باستخدام هذه المجموعة من البيانات، نقترح ونقوم بتقنين مهمتين لإنتاج الاستجابات بناءً على سيناريوهات الاسترجاع والإنشاء (retrieval and generative scenarios). بالإضافة إلى ذلك، نبني خطين أساسيين لهذه المهام باستخدام تقنيات طليعية ونبلغ عن أدائهما التجريبي. كما نقترح أيضًا مؤشر تقييم جديد يُسمى MM-Relevance لقياس الاستجابات متعددة الوسائط. يمكن الوصول إلى مجموعتنا من البيانات وأكواد البرامج الخاصة بنا عبر الرابط: https://github.com/victorsungo/MMDialog.