TransVOD: كشف الكائنات في الفيديو من الطرف إلى الطرف باستخدام المحولات المكانية-الزمنية

تم اقتراح نموذج DETR وDeformable DETR لتقليل الحاجة إلى مكونات مصممة يدويًا في كشف الكائنات، مع إظهار أداء جيد مقارنةً بالنمذج المعقدة التي تم تصميمها يدويًا سابقًا. ومع ذلك، لم يتم استكشاف أداء هذه النماذج في كشف الكائنات في الفيديو (VOD) بشكل كافٍ. في هذه الورقة، نقدم TransVOD، وهو أول نظام للكشف عن الكائنات في الفيديو يعتمد على بنية مُحكمة للتحويل المكاني-الزمني (spatial-temporal Transformer) ويعمل بشكل متكامل من البداية إلى النهاية. الهدف الأول من هذه الورقة هو تبسيط عملية VOD، وحذف الحاجة إلى العديد من المكونات المُصممة يدويًا لجمع الميزات، مثل نماذج التدفق البصري (optical flow) وشبكات العلاقات (relation networks). علاوةً على ذلك، وبفضل تصميم "استفسارات الكائنات" (object query) في DETR، لا يحتاج نهجنا إلى طرق ما بعد المعالجة المعقدة مثل Seq-NMS. وبشكل خاص، نقدّم تحويلًا زمنيًا (Temporal Transformer) لجمع استفسارات الكائنات المكانية وذاكرة الميزات لكل إطار. يتكون هذا التحويل الزمني من مكوّنين: مُشفّر استفسارات زمنية (TQE) لدمج استفسارات الكائنات، ومحDecoder زمني مُنحني (TDTD) للحصول على نتائج الكشف للإطار الحالي. وقد ساهمت هذه التصاميم في رفع أداء النموذج الأساسي المُتحوّل (deformable DETR) بشكل كبير، بزيادة تتراوح بين 3% إلى 4% في مؤشر mAP على مجموعة بيانات ImageNet VID. ثم قمنا بتطوير نسختين محسّنتين من TransVOD، وهما TransVOD++ وTransVOD Lite. حيث تدمج الأولى معلومات على مستوى الكائنات في استفسارات الكائنات من خلال ت convolution ديناميكي، بينما تُعدّ الثانية نموذجًا يُعالج كل مقطع فيديو ككل كمخرج، مما يُسرّع زمن التنبؤ. ونقدّم تحليلًا مفصلاً لجميع النماذج الثلاثة في قسم التجارب. وبشكل خاص، حقّق TransVOD++ الذي اقترحناه سجلًا جديدًا للحالة الحالية (state-of-the-art) من حيث الدقة على ImageNet VID، بتحقيقه 90.0% mAP. كما حقّق TransVOD Lite أيضًا أفضل توازن بين السرعة والدقة، مع تحقيق 83.7% mAP، وتشغيله بسرعة تقارب 30 إطارًا في الثانية (FPS) على جهاز وحدة معالجة رسومات واحدة من نوع V100.