ScatSimCLR: التعلم المتناوب ذاتي القيادة مع تنظيم مهمة ما قبل التدريب لبيانات صغيرة الحجم

في هذه الورقة، نتناول مشكلة التعلم ذاتي التوجيه لقواعد بيانات صغيرة الحجم بناءً على خسارة التباين بين وجهات نظر متعددة للبيانات، والتي تُظهر أداءً متفوقًا في المهام التصنيفية. وعلى الرغم من النتائج المُبلغ عنها، تظل عوامل مثل تعقيد التدريب المطلوب بنماذج معقدة، والعدد المطلوب من الوجهات الناتجة عن تكبير البيانات، وتأثيرها على دقة التصنيف مشكلات غير كافية الدراسة. ولتحديد الدور الذي تلعبه هذه العوامل، ندرس نظام خسارة التباين باستخدام معمارية مثل SimCLR، حيث يتم استبدال النموذج الأساسي بنموذج "مُصمم يدويًا" متماثلًا هندسيًا يُسمى ScatNet، مع شبكة مُعدّلة صغيرة قابلة للتدريب، ونُجادل بأن عدد المعلمات في النظام الكامل والعدد المطلوب من الوجهات يمكن تقليلهما بشكل كبير مع الحفاظ على دقة تصنيف تقريبًا متماثلة. بالإضافة إلى ذلك، نستعرض تأثير استراتيجيات الت régularization باستخدام التعلم المسبق (pretext task) المستند إلى تقدير معلمات تحويلات التكبير، مثل الدوران والترتيب المُجزّأ (jigsaw permutation)، سواء بالنسبة للنماذج الأساسية التقليدية أو النماذج المستندة إلى ScatNet. وأخيرًا، نُظهر أن المعمارية المقترحة مع تطبيق ت régularization باستخدام التعلم المسبق تحقق أداءً متفوقًا في التصنيف مقارنة بالأنظمة السابقة، مع عدد أقل من المعلمات القابلة للتدريب وعدد أقل من الوجهات المطلوبة.