التعلم التبايني يعكس عملية إنشاء البيانات

لقد حققت التعلم التبايني (Contrastive learning) نجاحًا كبيرًا مؤخرًا في مجال التعلم الذاتي-المُشرَّف (self-supervised learning). ومع ذلك، ما يزال غير واضح إلى حد كبير سبب قدرة التمثيلات المُتعلّمة على التعميم بكفاءة عالية على طيف واسع من المهام التالية (downstream tasks). نُثبت في هذا العمل أن النماذج ذات التدفق الأمامي (feedforward models)، التي تُدرَّب باستخدام دوال تدريب تنتمي إلى عائلة InfoNCE الشائعة، تتعلم بشكل ضمني عكس النموذج التوليدي (generative model) الكامن وراء البيانات الملاحظة. وعلى الرغم من أن البراهين تستند إلى افتراضات إحصائية معينة حول النموذج التوليدي، فإننا نلاحظ تجريبيًا أن نتائجنا تبقى صحيحة حتى عند خرق هذه الافتراضات بشكل كبير. تُبرز نظرية لدينا ارتباطًا جوهريًا بين التعلم التبايني، ونمذجة التوليد (generative modeling)، وتحليل المكونات المستقلة غير الخطية (nonlinear independent component analysis)، مما يعزز فهمنا للتمثيلات المُتعلّمة، ويُقدّم أيضًا أساسًا نظريًا لاستخلاص خسائر تباينية أكثر فعالية.