BIT: نمذجة زمنية ثنائية المستويات للتقسيم الفعّال للإجراءات الخاضعة للإشراف

ن tackled مهمة تقسيم الحركات المراقبة، التي تهدف إلى تقسيم الفيديو إلى أجزاء غير متداخلة، حيث يمثل كل جزء حركة مختلفة. وقد طبّقت الدراسات الحديثة نماذج الترانسفورمر لتنفيذ النمذجة الزمنية على مستوى الإطارات، لكنها تعاني من تكاليف حسابية عالية ولا تستطيع التقاط الاعتماديات الحركية على مدى زمني طويل بشكل فعّال. لحل هذه المشكلات، نقترح إطارًا فعّالًا للنمذجة الزمنية على مستويين (BIT) يتعلم رموزًا حركية صريحة لتمثيل أجزاء الحركات، وينفذ النمذجة الزمنية بالتوازي على مستويي الإطار والحركة، مع الحفاظ على تكلفة حسابية منخفضة. يتضمن نموذجنا (i) فرعًا للإطارات يستخدم التحويلات التلافيفية لتعلم العلاقات على مستوى الإطارات، (ii) فرعًا للحركات يستخدم الترانسفورمر لتعلم الاعتماديات على مستوى الحركات باستخدام مجموعة صغيرة من الرموز الحركية، و (iii) انتباهات متقاطعة تسمح بالتواصل بين الفرعين. ونطبّق ونُعدّل هدف التنبؤ بالمجموعة لتمكين كل رمز حركي من تمثيل جزء أو أكثر من أجزاء الحركات، مما يسمح لنا بتجنب تعلّم عدد كبير من الرموز في مقاطع فيديو طويلة تحتوي على العديد من الأجزاء. وبفضل تصميم فرع الحركات لدينا، يمكننا أيضًا استخدام النصوص المصاحبة للفيديوهات (عند توفرها) بشكل سلس لمساعدة تقسيم الحركات من خلال استخدامها لتهيئة رموز الحركات. وقد قمنا بتقييم نموذجنا على أربع مجموعات بيانات فيديو (اثنتان من النوع الأولي والاثنتان من النوع الثالث)، لتقسيم الحركات مع وبدون نصوص، حيث أظهرت النتائج أن BIT يحسن بشكل كبير من دقة الحالة الراهنة مع تكلفة حسابية أقل بكثير (أسرع بثلاثين مرة) مقارنة بالأساليب القائمة على الترانسفورمر الحالية.