HyperAIHyperAI

Command Palette

Search for a command to run...

VICReg: الت régularisation بالانحراف-الثبات-التباين للتعلم الذاتي-الإشرافي

Adrien Bardes Jean Ponce Yann LeCun

الملخص

تعتمد الطرق ذاتية التعلّم الحديثة لتعلم تمثيل الصور على تعظيم التوافق بين متجهات التضمين من وجهات نظر مختلفة لنفس الصورة. ويتولّد حلٌّ تافه عندما يُخرِج المُشفّر متجهات ثابتة. ويُستَبعد عادةً مشكلة الانهيار هذه من خلال تحيّزات ضمنية في بنية التعلّم، التي غالبًا ما تفتقر إلى تبرير واضح أو تفسير منطقي. في هذه الورقة، نقدّم VICReg (التنظيم بالانحراف-الثبات-التغاير)، وهي طريقة تتجنب بشكل صريح مشكلة الانهيار من خلال إضافة حدّ ت régularization بسيط يُطبّق على تباين التضمينات على طول كل بعد على حدة. وتحتاج VICReg إلى مصطلح التباين، وتحدّثه مع آلية تفكيك الارتباط القائمة على تقليل التكرار والتنظيم بالتغاير، وتحقيق نتائج توازي الأفضل حالياً في عدة مهام تطبيقية لاحقة. بالإضافة إلى ذلك، نُظهر أن دمج مصطلح التباين الجديد في طرق أخرى يساعد في تثبيت عملية التدريب ويؤدي إلى تحسين الأداء.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
VICReg: الت régularisation بالانحراف-الثبات-التباين للتعلم الذاتي-الإشرافي | مستندات | HyperAI