نماذج التوقيت الفعلي للإجراءات في الإجابة على الأسئلة المتعلقة بالفيديوهات

رغم التقدم الكبير في مجال الإجابة على الأسئلة المتعلقة بالفيديوهات (VideoQA)، تظل الطرق الحالية غير كافية في التعامل مع الأسئلة التي تتطلب تفكيرًا سببيًا أو زمنيًا عبر الإطارات. ويمكن تفسير ذلك بتمثيلات الحركة غير الدقيقة. نقدم نموذج تمييز التمدد الزمني للإجراءات (Action Temporality Modeling - ATM) لتمكين التفكير الزمني من خلال ثلاث خصائص فريدة: (1) إعادة التفكير في التدفق البصري (optical flow)، والاعتراف بأن التدفق البصري فعّال في التقاط التفكير الزمني على مدى طويل؛ (2) تدريب تمثيلات البصريات والنص من خلال التعلم التبايني بطريقة متمحورة حول الإجراءات، مما يؤدي إلى تمثيلات أفضل للإجراءات في كلا المجالين البصري والنصي؛ (3) منع النموذج من الإجابة على السؤال عند استخدام الفيديو المُختلط (shuffled video) خلال مرحلة التحسين الدقيق، لتجنب الارتباط الوهمي بين المظهر والحركة، وبالتالي ضمان تفكير زمني دقيق. في التجارب، نُظهر أن ATM يتفوق على الطرق السابقة من حيث الدقة في عدة مهام VideoQA، ويُظهر أيضًا قدرة أفضل على التفكير الزمني الحقيقي.