الإشراف الذاتي يمكن أن يكون متعلمًا جيدًا بقليل من البيانات

تعتمد طرق التعلم القليل العينات (FSL) الحالية على التدريب باستخدام مجموعة بيانات كبيرة مصنفة، مما يمنعها من الاستفادة من كميات كبيرة من البيانات غير المصنفة. من وجهة نظر نظرية المعلومات، نقترح طريقة فعالة للتعلم القليل العينات بدون إشراف، تتعلم تمثيلات البيانات باستخدام الإشراف الذاتي. وفقًا لمبدأ InfoMax، تتعلم طريقتنا تمثيلات شاملة عن طريق التقاط البنية الداخلية للبيانات. بتحديد أكثر، نقوم بتعظيم المعلومات المتبادلة (MI) بين العينات وتمثيلاتها باستخدام تقدير MI قليل التحيز لتنفيذ التدريب السابق بالإشراف الذاتي. بدلاً من التركيز على الخصائص المميزة للتصنيفات المعروفة كما هو الحال في التدريب السابق بالإشراف، فإن نموذجنا بالإشراف الذاتي يتميز بقلة التحيز نحو التصنيفات المعروفة، مما يؤدي إلى تعميم أفضل للتصنيفات غير المعروفة. نوضح أن التدريب السابق بالإشراف والتدريب السابق بالإشراف الذاتي في الواقع يقومان بتعظيم أهداف معلومات متبادلة مختلفة. تم إجراء تجارب واسعة النطاق لتحليل أداء FSL في ظل مجموعة متنوعة من إعدادات التدريب. بشكل مفاجئ، أظهرت النتائج أن التدريب السابق بالإشراف الذاتي يمكن أن يتفوق على التدريب السابق بالإشراف تحت الشروط المناسبة. بالمقارنة مع أفضل الطرق الحالية في مجال FSL، حققت طريقتنا أداءً مشابهًا على مقاييس FSL الشائعة الاستخدام دون الحاجة إلى أي تصنيفات للتصنيفات الأساسية.