موبرو: التعلم المراقب بشكل ويب باستخدام النماذج الحركية

نُقدِّم طريقة لتعلم التمثيل المدعوم بالويب (webly-supervised representation learning) لا تعاني من مشكلة عدم قابلية التوسع في التسمية الخاصة بالتعلم المُشرَّف، ولا من مشكلة عدم قابلية التوسع في الحساب الخاصة بالتعلم الذاتي (self-supervised learning). تُعتمد معظم الدراسات الحالية في تعلم التمثيل المدعوم بالويب على منهجية التعلم المُشرَّف البسيطة (vanilla supervised learning) دون أخذ التلوث الشائع في بيانات التدريب بعين الاعتبار، في حين أن معظم الأساليب السابقة في تعلم البيانات ذات التسميات الملوثة تُظهر كفاءة محدودة في معالجة البيانات الكبيرة والواقعية ذات التسميات الملوثة. نُقدِّم "البروتوتيبات الحركية" (Momentum Prototypes - MoPro)، وهي طريقة بسيطة للتعلم التمييزي (contrastive learning) تحقق تصحيحًا مباشرًا للتشويش في التسميات، وحذف العينات التي تخرج عن التوزيع (out-of-distribution samples)، بالإضافة إلى تعلم التمثيل. تُظهر MoPro أداءً متقدمًا على مستوى الحالة الحالية (state-of-the-art) على مجموعة بيانات WebVision، وهي مجموعة بيانات ضعيفة التسمية ومحفّزة بالضوضاء. كما تُظهر MoPro أداءً متفوّقًا عند نقل النموذج المُدرّب مسبقًا إلى مهام تصنيف وتحديد الصور في المهام التالية (down-stream tasks). فعلى سبيل المثال، تتفوّق على النموذج المُدرّب مسبقًا باستخدام ImageNet في التعلم المُشرَّف بفارق +10.5 في تصنيف 1-نقطة (1-shot classification) على مجموعة بيانات VOC، كما تتفوّق على أفضل نموذج مُدرّب مسبقًا باستخدام التعلم الذاتي بفارق +17.3 عند التحسين الدقيق (fine-tuning) باستخدام 1% فقط من عينات ImageNet المُسَمَّاة. علاوةً على ذلك، تُظهر MoPro مقاومة أعلى تجاه الانزلاقات في التوزيع (distribution shifts). يمكن الوصول إلى الكود والنماذج المُدرّبة مسبقًا من خلال الرابط: https://github.com/salesforce/MoPro.