نمذجة مكانية-زمنية تعاونية للتحليل التصنيفي للعارضين في الفيديو المُسْتَدْعَى باللغة

يهدف التجزئة البصرية للشخصية في الفيديو بناءً على الاستفسار اللغوي إلى توقع قناع المستوى البكسل للشخصية التي تؤدي الأفعال الموصوفة في الاستفسار اللغوي الطبيعي ضمن الإطارات المستهدفة. تعتمد الطرق الحالية على الشبكات العصبية التلافيفية الثلاثية الأبعاد (3D CNNs) على قطعة الفيديو كمُشفّر عام لاستخراج ميزة مختلطة فراغية-زمنية للإطار المستهدف. وعلى الرغم من أن التلافيف الثلاثية الأبعاد تُعد مناسبة لتحديد الشخصية التي تؤدي الأفعال المطلوبة، إلا أنها تُسبب بالضرورة معلومات فراغية غير متطابقة من الإطارات المجاورة، مما يؤدي إلى تشويش ميزات الإطار المستهدف وينتج عنه تجزئة غير دقيقة. لذلك، نقترح إطارًا متعاونًا يعتمد على مُشفّر-مُفكّك فراغي-زمني، يتضمن مُشفّرًا زمنيًا ثلاثي الأبعاد على قطعة الفيديو لتحديد الأفعال المطلوبة، ومُشفّرًا فراغيًا ثنائي الأبعاد على الإطار المستهدف لتمييز الشخصية المطلوبة بدقة. وفي مرحلة التفكيك، نُقدّم وحدة اختيار الميزات الموجهة باللغة (LGFS) لدمج مرن للميزات الفراغية والزمنية من المُشفّرين. كما نقترح وحدة تكييف متعددة الوسائط تلقائية (CMAM) لإعادة تجميع ديناميكي للميزات اللغوية ذات الصلة بالفراغ والزمن، لتعزيز التفاعل متعدد الوسائط في كل مرحلة من مراحل المُشفّرين. يحقق هذا الأسلوب أداءً جديدًا في مستوى الحد الأقصى (state-of-the-art) على بحثين شهيرين، مع تقليل كبير في الحمل الحسابي مقارنة بالطرق السابقة.