التجزئة الزمنية: نهج موحد لتحليل الفيديو

نقدم نهجًا عامًا لفهم الفيديو، مستوحى من تقنيات النقل الدلالي التي تم استخدامها بنجاح في تحليل الصور ثنائية الأبعاد. يتناول أسلوبنا الفيديو كمتتابعة أحادية البعد من المقاطع، كل منها مرتبط بدلالته الخاصة. طبيعة هذه الدلالات - العبارات اللغوية الطبيعية أو التسميات الأخرى - تعتمد على المهمة المعنية. يتم معالجة فيديو الاختبار عن طريق إنشاء علاقات بين مقاطعه ومقاطع الفيديوهات المرجعية ذات الدلالات المعروفة، ثم يمكن نقل دلالات الفيديوهات المرجعية إلى فيديو الاختبار. نصفّ نوعين من طرق التطابق، وكلاهما مصمم لضمان أن (أ) تبدو المقاطع المرجعية مشابهة لمقاطع الاختبار وأن (ب) مجتمعةً، تكون دلالات المقاطع المرجعية المختارة متسقة وتحافظ على التجانس الزمني. نستخدم أسلوبنا في كتابة توضيحات للفيديو على معيار LSMDC'16، وفي تلخيص الفيديو على معايير SumMe وTVSum، وفي اكتشاف الأفعال الزمنية على معيار Thumos2014، وفي التنبؤ بالصوت على معيار Greatest Hits. لا يفوق أسلوبنا الحالة الراهنة فحسب في أربعة من خمسة معايير، بل هو أيضًا الطريقة الوحيدة التي نعرفها والتي تم تطبيقها بنجاح على مجموعة متنوعة ومختلفة من المهام.