AdaMAE: تبديل تكيفي للإخفاء لتعلم فعّال في الفضاء والزمن باستخدام مُشفّرات الإخفاء المُتعددة

تتعلم النماذج المُقنعة للآليات التلقائية (MAEs) تمثيلات قابلة للتطبيق بشكل عام للصور، والنصوص، والصوتيات، والفيديوهات، وغيرها من البيانات من خلال إعادة بناء البيانات المُقنعة باستخدام الرموز (tokens) الناتجة عن البيانات المرئية. تعتمد الطرق الحالية لـ MAEs في الفيديوهات على استراتيجيات تمرير عشوائية للقطع أو الأنبوب أو الإطارات لاختيار هذه الرموز. يقترح هذا البحث استراتيجية تمرير مُتكيفة تُسمى AdaMAE، وهي استراتيجية تمرير مُتكيفة قابلة للتدريب من النهاية إلى النهاية لـ MAEs. تعتمد استراتيجيتنا المُتكيفة على عينة الرموز المرئية بناءً على السياق الدلالي باستخدام شبكة عينة مساعدة. تقوم هذه الشبكة بتقدير توزيع فئوي على الرموز الزمنية-المكانية (spacetime-patch tokens). وتُكافأ الرموز التي تزيد من خطأ إعادة البناء المتوقع وتُختار كرموز مرئية، مستوحاة من خوارزمية التدرج السياسي في التعلم التعزيزي. نُظهر أن AdaMAE تُعطي أولوية لعينة الرموز من المناطق ذات المعلومات الزمنية-المكانية العالية، مما يسمح لنا بتعطيل 95٪ من الرموز، ما يؤدي إلى تقليل استهلاك الذاكرة وتسريع عملية التدريب المُسبق. أجرينا دراسات تحليلية (أبلايشن) على مجموعة بيانات Something-Something v2 (SSv2) لإثبات فعالية نهجنا المُتكيف في العينة، ونُعلن عن نتائج قياسية في مجالها بـ 70.0٪ و81.7٪ من الدقة في المرتبة الأولى على مجموعتي بيانات تصنيف الحركات SSv2 وKinetics-400 باستخدام نموذج ViT-Base و800 دورة تدريب مسبق.