التعلم المتناقض الموجه بالانعدام في الفعل للتحديد الزمني للعمل الضعيف التدريب

تهدف التصنيف الزمني للإجراءات الضعيف المُدرَّب (WTAL) على اكتشاف حالات الإجراءات المعطاة فقط بعلامات على مستوى الفيديو. لمعالجة هذا التحدي، تستخدم الطرق الحديثة عادةً إطارًا ثنائي الفرع، يتكون من فرع يراعي الفئة وفرع غير مُراعٍ للفئة. وفقًا للمبدأ، ينبغي أن يُنتج الفرعين نفس نشاط "الإجراء" (actionness). ومع ذلك، نلاحظ أن هناك العديد من المناطق التي تُظهر تباينًا في النشاط. وغالبًا ما تحتوي هذه المناطق غير المتناسقة على أجزاء صعبة، حيث تكون معلوماتها الدلالية (إجراء أو خلفية) غامضة. في هذا العمل، نقترح طريقة جديدة تُسمى التعلم التبايني المُوجه بالانعدام في التماسك الإجرائي (AICL)، والتي تستخدم الأجزاء المتناسقة لتعزيز التعلم التمثيلي للأجزاء غير المتناسقة. بشكل محدد، نُعرّف أولاً الأجزاء المتناسقة وغير المتناسقة من خلال مقارنة تنبؤات الفرعين، ثم نُنشئ أزواجًا إيجابية وسلبية بين الأجزاء المتناسقة والأجزاء غير المتناسقة لغرض التعلم التبايني. علاوةً على ذلك، ولتجنب الحالة التافهة التي لا يوجد فيها أي عينة متناسقة، نُقدّم قيدًا في التماسك الإجرائي للتحكم في الفرق بين الفرعين. أجرينا تجارب واسعة على مجموعات بيانات THUMOS14 وActivityNet v1.2 وActivityNet v1.3، وأظهرت النتائج فعالية AICL مع أداء متميز على مستوى الحد الأقصى من التطور. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/lizhilin-ustc/AAAI2023-AICL.