نظرية المعلومات المصفوفية للتعلم الذاتي التدريب

يُقدّم الإطار المبني على مبدأ الانتروبيا العظمى رؤية موحدة لعدة طرق تعلم غير تقابلية، مثل SimSiam وBarlow Twins وMEC. مستوحى من هذا الإطار، نقدّم Matrix-SSL، وهي منهجية جديدة تُستخدَم فيها نظرية المصفوفات لتفسير خسارة التشفير ذات الانتروبيا العظمى على أنها خسارة انتظام المصفوفة. علاوةً على ذلك، يُحسّن Matrix-SSL من أداء التشفير ذي الانتروبيا العظمى من خلال دمج خسارة تطابق المصفوفات بشكل سلس، مما يُمكّن من محاذاة مصفوفات التباين في فروع مختلفة مباشرة. أظهرت النتائج التجريبية أن Matrix-SSL يتفوّق على أحدث الطرق المُعلَّمة على مجموعة بيانات ImageNet في إعدادات التقييم الخطي، وعلى MS-COCO في مهام التعلم المن転. وبشكل خاص، عند تنفيذ مهام التعلم المن転 على MS-COCO، يتفوّق منهجنا على الطرق المُعلَّمة السابقة مثل MoCo v2 وBYOL بنسبة تصل إلى 3.3% باستخدام فقط 400 دورة تدريب مقابل 800 دورة في الطرق السابقة. كما جرّبنا دمج التعلّم التمثيلي في بيئة نمذجة اللغة من خلال تدريب نموذج بحجم 7 مليار معلمة باستخدام خسارة الانتروبيا المصفوفية المتقاطعة، حيث حقق أداءً أفضل بنسبة 3.1% على مجموعة بيانات GSM8K مقارنةً بخسارة الانتروبيا المتقاطعة القياسية. يمكن الوصول إلى الكود عبر الرابط: https://github.com/yifanzhang-pro/Matrix-SSL.