بارلو توينز: التعلم ذاتي التحفيز من خلال تقليل التكرار

يُعد التعلم الذاتي (SSL) مسارًا سريع التطور يُضيق الفجوة مع الطرق المراقبة على معايير الرؤية الحاسوبية الكبيرة. أحد النهج الناجحة في التعلم الذاتي هو تعلم التمثيلات (embeddings) التي تظل ثابتة تجاه التشوهات التي تتعرض لها العينة المدخلة. ومع ذلك، فإن المشكلة المتكررة مع هذا النهج هي وجود حلول ثابتة تافهة (trivial constant solutions). وتتجنب معظم الطرق الحديثة هذه الحلول من خلال تفاصيل تنفيذ دقيقة. نقترح دالة هدف تتجنب تدهور الحلول بشكل طبيعي من خلال قياس مصفوفة الترابط المتبادل بين مخرجات شبكتين متماثلتين يتم تغذية كل منهما بنسخ متشوهة من عينة واحدة، وجعل هذه المصفوفة قريبة قدر الإمكان من مصفوفة الوحدة (identity matrix). يؤدي هذا إلى جعل متجهات التمثيل للنسخ المتشوهة من العينة متشابهة، في حين يقلل من التكرار بين مكونات هذه المتجهات. وسميت هذه الطريقة بـ "زوجي بارلو" (Barlow Twins) نسبة إلى مبدأ تقليل التكرار (redundancy-reduction principle) الذي طوّرَه العالِم العصبي هـ. بارلو، وتم تطبيقه على زوج من الشبكات المتماثلة. تتميز طريقة "زوجي بارلو" بعدم الحاجة إلى حزم كبيرة (large batches)، أو إلى عدم تناظر بين الشبكتين المتماثلتين مثل وجود شبكة تنبؤ (predictor network)، أو توقف التدرج (gradient stopping)، أو استخدام متوسط متحرك في تحديثات الأوزان. وبشكل مثير للاهتمام، تُظهر الطريقة أداءً متميزًا مع متجهات مخرجة عالية الأبعاد. وتفوق طريقة "زوجي بارلو" الطرق السابقة في تصنيف نصف مراقب على ImageNet في ظل ظروف البيانات المنخفضة، وتحظى بأداء متساوٍ مع أحدث الطرق المتطورة في تصنيف ImageNet باستخدام رأس تصنيف خطي، وكذلك في مهام نقل التعلم المتعلقة بالتصنيف والكشف عن الكائنات.