ما الذي يُكوّن رؤى جيدة لتعلم التباين؟

لقد حققت التعلم المقارن بين وجهات متعددة للبيانات أداءً متقدمًا جدًا في مجال التعلم التمثيلي ذاتي التدريب في الآونة الأخيرة. وعلى الرغم من نجاحها، فإن تأثير اختيارات الوجهات المختلفة لم يُدرَس بشكل كافٍ. في هذه الورقة، نستخدم تحليلًا نظريًا وتجريبيًا لفهم أفضل لأهمية اختيار الوجهات، ونُقدّم رأيًا يُحث على تقليل المعلومات التبادلية (MI) بين الوجهات مع الحفاظ على المعلومات ذات الصلة بالمهام. لاختبار هذا الفرضية، نُصمم إطارين غير مراقب وشبه مراقب يتعلمان وجهات فعّالة من خلال الهدف المتمثل في تقليل المعلومات التبادلية بينها. كما ننظر إلى التضخيم البيانات كوسيلة لتقليل المعلومات التبادلية، ونُظهر أن زيادة التضخيم الفعلي يؤدي إلى تقليل المعلومات التبادلية وتحسين دقة التصنيف في المهام اللاحقة. كمنتج ثانوي، نحقق دقة جديدة قياسية في التدريب المسبق غير المراقب لتصنيف ImageNet (73% دقة أعلى أولى باستخدام قراءة خطية مع ResNet-50). بالإضافة إلى ذلك، تُظهر نماذجنا المُحَوَّلة إلى كشف الكائنات في PASCAL VOC والفصل التوافقي في COCO أداءً أفضل باستمرار مقارنة بالتدريب المسبق المراقب. الكود: http://github.com/HobbitLong/PyContrast