الملخص التحليلي متعدد الوسائط لمقاطع الفيديو How2

في هذا البحث، ندرس تلخيص الاستخلاص لمقاطع الفيديو المفتوحة. على عكس تلخيص الأخبار النصية التقليدية، فإن الهدف يكمن أقل في "ضغط" المعلومات النصية وأكثر في تقديم ملخص نصي سلس للمعلومات التي تم جمعها ودمجها من مصادر مختلفة، وفي حالتنا هذه، الفيديو والنصوص الصوتية (أو النص). نوضح كيف يمكن لموديل متعدد المصادر مع انتباه هرمي دمج المعلومات من مصادر مختلفة في إخراج متماسك، نقارن بين مختلف الموديلات التي تم تدريبها باستخدام مصادر مختلفة، ونقدم تجارب أولية على مجموعة بيانات How2 للفيديوهات التعليمية. كما نقترح مؤشراً تقييمياً جديداً (F1 المحتوى) لمهمة تلخيص الاستخلاص يقيس الكفاية الدلالية بدلاً من سلاسة الملخصات، والتي يتم تغطيتها بواسطة المؤشرات مثل ROUGE وBLEU.