التباين والخلط: التكيف النسبي للفيديو في الزمن مع خلط الخلفية

التكيف غير المشرف بين المجالات، والذي يهدف إلى تكييف النماذج التي تم تدريبها على مجال مصدر مصنف إلى مجال هدف غير مصنف تمامًا، قد جذب اهتمامًا كبيرًا في السنوات الأخيرة. بينما تم اقتراح العديد من تقنيات التكيف بين المجالات للصور، فإن مشكلة التكيف غير المشرف بين المجالات في الفيديوهات لا تزال محدودة الدراسة بشكل كبير. في هذا البحث، نقدم إطار التعلم التضادي الجديد "المقارنة والخلط" (CoMix)، الذي يهدف إلى تعلم تمثيلات ميزات تمييزية ثابتة للتكيف غير المشرف بين المجالات في الفيديوهات. أولاً، على عكس الأساليب الحالية التي تعتمد على التعلم المعادي لتوفيق الميزات، نستخدم التعلم التضادي الزمني لتقريب الفجوة بين المجالين من خلال زيادة الشبه بين التمثيلات المشفرة لفيديو غير مصنف عند سرعتين مختلفتين وتخفيض الشبه بين فيديوهات مختلفة تشغّل بسرعات مختلفة. ثانيًا، نقترح توسيعًا جديدًا لخسارة التعلم التضادي الزمني باستخدام خلط الخلفية، مما يسمح بإيجابيات إضافية لكل عنصر رئيسي، وبالتالي تكييف التعلم التضادي للاستفادة من معاني الأفعال المشتركة بين كلا المجالين. بالإضافة إلى ذلك، ندمج أيضًا هدف التعلم التضادي المشرف باستخدام العلامات الزائفة للهدف لتعزيز قابلية تمييز المساحة الكامنة للتكيف بين المجالات في الفيديو. تظهر التجارب الواسعة على عدة مجموعات بيانات معيارية تفوق النهج المقترح لدينا على أفضل الأساليب الحالية. صفحة المشروع: https://cvir.github.io/projects/comix