SERE: استكشاف العلاقة الذاتية للميزات للتحويلة المعتمدة على التعلم ذاتيًا

تم التحقق من فعالية تعلم التمثيلات باستخدام التدريب الذاتي للشبكات العصبية التلافيفية (CNN) في المهام البصرية. كبديل لـ CNN، تمتلك النماذج المحولات البصرية (ViT) قدرة تمثيلية قوية بفضل الانتباه الفراغي الذاتي والشبكات التغذوية من مستوى القنوات. أظهرت الدراسات الحديثة أن التدريب الذاتي يساعد في استغلال الإمكانات الكبيرة التي تمتلكها ViT. ومع ذلك، تظل معظم الدراسات تتبع استراتيجيات تدريب ذاتي مصممة خصيصًا لشبكات CNN، مثل تمييز العينات على مستوى المثيلات، مع إغفال الخصائص المميزة لـ ViT. لاحظنا أن نمذجة العلاقات على المحاور الفراغية ومستوى القنوات تميز ViT عن الشبكات الأخرى. ولتعزيز هذه الخاصية، نستكشف مفهوم "العلاقة الذاتية للسمات" (SERE) لتدريب ViT باستخدام التدريب الذاتي. وبشكل محدد، بدلًا من إجراء التدريب الذاتي فقط على متجهات السمات المستمدة من عدة منظورات، نستخدم العلاقات الذاتية للسمات، أي العلاقات الفراغية أو القنواتية الذاتية، في عملية التدريب الذاتي. يؤدي التدريب القائم على العلاقات الذاتية إلى تعزيز قدرة ViT على نمذجة العلاقات، مما ينتج تمثيلات أقوى تُحسّن الأداء بشكل مستقر في العديد من المهام التالية. يمكن الوصول إلى الكود المصدري الخاص بنا عبر الرابط التالي: https://github.com/MCG-NKU/SERE.