إطار عمل تعلّم متعدد الوسائط بمقاييس زمنية هجينة لتقسيم كائنات الفيديو المرجعية

يُعد التمييز الكائنات في الفيديو المرجعي (RVOS) عملية تهدف إلى فصل كائن معين من فيديو معطى بناءً على الوصف النصي لهذا الكائن. ومع ذلك، في البيئة المفتوحة، تكون وصفات الكائنات غالبًا متنوعة من حيث المحتوى ومرنة من حيث الطول. ويؤدي هذا إلى التحدي الرئيسي في RVOS، وهو أن الوصفات المختلفة للكائنات المختلفة تتوافق مع مقياس زمني مختلف داخل الفيديو، وهو ما تتجاهله معظم الأساليب الحالية التي تعتمد على خطوة واحدة فقط في أخذ العينات من الإطارات. ولحل هذه المشكلة، نقترح إطارًا بسيطًا يُسمى التعلم الهجين متعدد المقياس الزمني متعدد الوسائط (HTML)، والذي يمكنه بشكل فعّال محاذاة السمات اللغوية والبصرية لاكتشاف المعاني الأساسية للكائن في الفيديو، من خلال تعلم التفاعل متعدد الوسائط بشكل هرمي من مقاييس زمنية مختلفة. وبشكل أكثر تحديدًا، نقدّم وحدة جديدة للإدراك متعدد الوسائط عبر المقياس الزمني، حيث تتفاعل استعلامات اللغة ديناميكيًا مع السمات البصرية عبر مقاييس زمنية متعددة. وتُعد هذه الوحدة فعّالة في تقليل التباس الكائنات المعقدة من خلال نقل السياق البصري بين المقاييس المختلفة. وأخيرًا، أجرينا تجارب واسعة على معايير شائعة الاستخدام، تشمل Ref-Youtube-VOS وRef-DAVIS17 وA2D-Sentences وJHMDB-Sentences، حيث حقق إطارنا HTML أداءً من الدرجة الأولى على جميع هذه المجموعات.