HyperAIHyperAI

Command Palette

Search for a command to run...

نظرية المعلومات المصفوفية للتعلم الذاتي التدريب

Yifan Zhang Zhiquan Tan Jingqin Yang Weiran Huang Yang Yuan

الملخص

يُقدّم الإطار المبني على مبدأ الانتروبيا العظمى رؤية موحدة لعدة طرق تعلم غير تقابلية، مثل SimSiam وBarlow Twins وMEC. مستوحى من هذا الإطار، نقدّم Matrix-SSL، وهي منهجية جديدة تُستخدَم فيها نظرية المصفوفات لتفسير خسارة التشفير ذات الانتروبيا العظمى على أنها خسارة انتظام المصفوفة. علاوةً على ذلك، يُحسّن Matrix-SSL من أداء التشفير ذي الانتروبيا العظمى من خلال دمج خسارة تطابق المصفوفات بشكل سلس، مما يُمكّن من محاذاة مصفوفات التباين في فروع مختلفة مباشرة. أظهرت النتائج التجريبية أن Matrix-SSL يتفوّق على أحدث الطرق المُعلَّمة على مجموعة بيانات ImageNet في إعدادات التقييم الخطي، وعلى MS-COCO في مهام التعلم المن転. وبشكل خاص، عند تنفيذ مهام التعلم المن転 على MS-COCO، يتفوّق منهجنا على الطرق المُعلَّمة السابقة مثل MoCo v2 وBYOL بنسبة تصل إلى 3.3% باستخدام فقط 400 دورة تدريب مقابل 800 دورة في الطرق السابقة. كما جرّبنا دمج التعلّم التمثيلي في بيئة نمذجة اللغة من خلال تدريب نموذج بحجم 7 مليار معلمة باستخدام خسارة الانتروبيا المصفوفية المتقاطعة، حيث حقق أداءً أفضل بنسبة 3.1% على مجموعة بيانات GSM8K مقارنةً بخسارة الانتروبيا المتقاطعة القياسية. يمكن الوصول إلى الكود عبر الرابط: https://github.com/yifanzhang-pro/Matrix-SSL.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نظرية المعلومات المصفوفية للتعلم الذاتي التدريب | مستندات | HyperAI