الاستدلال العلاقة على الرسوم البيانية المكانية-الزمنية لملخص الفيديو

في هذه الورقة، نقترح نهجًا نمذجة الرسوم البيانية الديناميكية لتعلم تمثيلات فضائية-زمنية لاستخلاص ملخصات الفيديو. تُستخرج معظم الطرق الحالية لاستخلاص ملخصات الفيديو ميزات على مستوى الصور باستخدام نماذج عميقة مُدرَّبة مسبقًا على ImageNet. وخلافًا لذلك، يستخدم نهجنا معلومات على مستوى الكائنات والعلاقات لالتقاط الاعتماديات الفضائية-الزمنية. وبشكل محدد، يبني نهجنا رسومًا فضائية على اقتراحات الكائنات المُكتشفة. ثم، يُنشئ رسمًا زمنيًا باستخدام التمثيلات المجمعة للرسومات الفضائية. بعد ذلك، يُطبَّق الاستدلال العلائقي على الرسومات الفضائية والزمنية باستخدام شبكات الت convolution على الرسوم البيانية، ويُستخرج تمثيلات فضائية-زمنية لتنبؤ بدرجات الأهمية واختيار اللقطات الأساسية. ولإزالة التشويش الناتج عن الروابط الكثيفة بين العقد، نصمم بشكل إضافي وحدة تجميع الحواف ذات الانتباه الذاتي، التي تتجاهل العلاقات غير المهمة في الرسومات. أجرينا تجارب واسعة على معيارين شهيرين، يشملان مجموعتي بيانات SumMe وTVSum. وأظهرت النتائج التجريبية أن الطريقة المقترحة تحقق أداءً متفوقًا مقارنةً بالأساليب الرائدة في مجال استخلاص ملخصات الفيديو.