التطابق الموجه بالعلاقة الهجينة لمجموعات الأفعال في حالات القليل من العينات

تصل الطرق الحالية للاعتراف بالأفعال في حالات قليلة إلى أداء مثير للإعجاب من خلال تعلم الخصائص التمييزية لكل فيديو عبر التدريب الحلقي وتصميم استراتيجيات تنسيق زمني متنوعة. ومع ذلك، فإنها محدودة في أن (أ) تعلم الخصائص الفردية دون النظر إلى المهمة بأكملها قد يفقد المعلومات الأكثر صلة في الحلقة الحالية، و (ب) قد تفشل هذه استراتيجيات التنسيق في الحالات غير المنسقة. لتجاوز هذين الحدين، نقترح نهجًا جديدًا يعتمد على مطابقة المجموعات بقيادة العلاقات الهجينة (HyRSM)، والذي يضم مكونين رئيسيين: وحدة العلاقة الهجينة ومقياس مطابقة المجموعات. الغرض من وحدة العلاقة الهجينة هو تعلم التضمينات الخاصة بالمهمة من خلال استغلال العلاقات المرتبطة داخل الفيديوهات وفيما بينها بشكل كامل ضمن حلقة واحدة. بناءً على الخصائص الخاصة بالمهمة، نعيد صياغة قياس المسافة بين الفيديوهات الاستفسارية والفيديوهات الداعمة كمشكلة مطابقة لمجموعة، ونقوم بتصميم مؤشر هاوسدورف الثنائي الاتجاه (Mean Hausdorff Metric) لتحسين المرونة أمام الحالات غير المنسقة. بهذه الطريقة، يمكن للنهج المقترح HyRSM أن يكون غنيًا بالمعلومات ومرنًا في التنبؤ بفئات الاستفسار تحت إعدادات قليلة الأمثلة. لقد قمنا بتقييم HyRSM على ست مقاييس تحدي صعبة، وأظهرت النتائج التجريبية تفوقه على أفضل الطرق الحالية بمعدل مقنع. صفحة المشروع: https://hyrsm-cvpr2022.github.io/.