VICReg: الت régularisation بالانحراف-الثبات-التباين للتعلم الذاتي-الإشرافي

تعتمد الطرق ذاتية التعلّم الحديثة لتعلم تمثيل الصور على تعظيم التوافق بين متجهات التضمين من وجهات نظر مختلفة لنفس الصورة. ويتولّد حلٌّ تافه عندما يُخرِج المُشفّر متجهات ثابتة. ويُستَبعد عادةً مشكلة الانهيار هذه من خلال تحيّزات ضمنية في بنية التعلّم، التي غالبًا ما تفتقر إلى تبرير واضح أو تفسير منطقي. في هذه الورقة، نقدّم VICReg (التنظيم بالانحراف-الثبات-التغاير)، وهي طريقة تتجنب بشكل صريح مشكلة الانهيار من خلال إضافة حدّ ت régularization بسيط يُطبّق على تباين التضمينات على طول كل بعد على حدة. وتحتاج VICReg إلى مصطلح التباين، وتحدّثه مع آلية تفكيك الارتباط القائمة على تقليل التكرار والتنظيم بالتغاير، وتحقيق نتائج توازي الأفضل حالياً في عدة مهام تطبيقية لاحقة. بالإضافة إلى ذلك، نُظهر أن دمج مصطلح التباين الجديد في طرق أخرى يساعد في تثبيت عملية التدريب ويؤدي إلى تحسين الأداء.