حماية أزواج بارلو من التفرع الزائد باستخدام عينات مختلطة

يهدف التعلم الذاتي (SSL) إلى تعلُّم تمثيلات مميزة قابلة للنقل لتطبيقات ما بعد التدريب دون الاعتماد على بيانات مُصنَّفة. يُعد خوارزمية Barlow Twins، المعروفة باعتمادها الواسع وسهولة تنفيذها مقارنة بخوارزميات أخرى مثل طرق التعلم التبايني، إلى تقليل التكرار في الميزات مع تعزيز التماثل تجاه التشويهات الشائعة. وعند التحسين لتحقيق هذا الهدف، يُجبر الشبكة على تعلُّم تمثيلات مفيدة، مع تجنُّب الميزات الضوضائية أو الثابتة، مما يؤدي إلى تحسين الأداء في المهام ما بعد التدريب مع تكييف محدود. وعلى الرغم من الفعالية المثبتة لـ Barlow Twins في التدريب المسبق، فإن الهدف الأساسي للتعلم الذاتي يمكن أن يؤدي بشكل غير مقصود إلى تعلُّم مفرط (Overfitting) في الميزات، بسبب ضعف التفاعل بين العينات مقارنة بطرق التعلم التبايني. من خلال تجاربنا، لاحظنا أن تحسين الهدف الخاص بـ Barlow Twins لا يضمن بالضرورة تحسينًا مستمرًا في جودة التمثيلات بعد مرحلة معينة من التدريب المسبق، وقد يؤدي في بعض الأحيان إلى تدهور الأداء في المهام ما بعد التدريب على بعض المجموعات. لمعالجة هذه التحديات، نقدّم "Barlow Twins المختلط" (Mixed Barlow Twins)، والذي يهدف إلى تحسين التفاعل بين العينات أثناء تدريب Barlow Twins من خلال استخدام عينات مُعدّلة خطيًا. هذا يُنتج حدًا إضافيًا للتنظيم (Regularization Term) في الهدف الأصلي لـ Barlow Twins، بافتراض أن التداخل الخطي في الفضاء المدخلات يُترجم إلى تداخل خطي في الفضاء الميزات. ويُعد التدريب المسبق باستخدام هذا التحكم الفعّال يقلل من تعلُّم الميزات المفرط، ويعزز الأداء في المهام ما بعد التدريب على مجموعات بيانات مثل CIFAR-10 وCIFAR-100 وTinyImageNet وSTL-10 وImageNet. يمكن الوصول إلى الكود والنقاط المحفوظة من خلال الرابط التالي: https://github.com/wgcban/mix-bt.git