التعلم الذاتي المراقب باستخدام معيار تحسين المعلومات

يُمكّن التعلّم الذاتي النظم الذكية من تعلّم تمثيلات فعّالة من كميات كبيرة من البيانات باستخدام مهام لا تتطلب تسمية مكلفة. وتشكل مشكلة الانهيار النمطي، أي إنتاج النموذج لتمثيلات متماثلة لكل المدخلات، مشكلة مركزية في العديد من مناهج التعلّم الذاتي، مما يجعل المهام الذاتية التعلّمية، مثل مطابقة نسخ مُشوّهة من المدخلات، غير فعّالة. في هذا المقال، نجادل بأن تطبيقًا مباشرًا لتعظيم المعلومات بين التمثيلات الكامنة البديلة لنفس المدخل يحل بشكل طبيعي مشكلة الانهيار ويحقق نتائج تجريبية تنافسية. نقترح منهجًا للتعلّم الذاتي يُسمّى CorInfoMax، يستخدم قياسًا لمعيار المعلومات التبادلية يستند إلى الإحصائيات من الدرجة الثانية، ويعبّر عن مستوى الارتباط بين مُدخلاته. ويحقق تعظيم هذا المقياس التبادلي للارتباط بين التمثيلات البديلة لنفس المدخل هدفين: (1) تجنّب مشكلة الانهيار من خلال إنتاج متجهات ميزات ذات تباينات غير مُنخفضة؛ (2) إقامة علاقة ذات صلة بين التمثيلات البديلة من خلال زيادة الاعتماد الخطي بينها. ويُبسّط تقريب لهدف تعظيم المعلومات المقترح إلى دالة هدف تعتمد على المسافة الإقليدية، ومرّشّحة بحدّ اللوغاريتم المحدد لمصفوفة تباين الميزات. ويعمل الحدّ التصحيحي كحاجز طبيعي ضد تدهور الفضاء المميزات. ونتيجة لذلك، وبخلاف منع الانهيار الكامل إلى نقطة واحدة، يمنع النهج المقترح أيضًا الانهيار البُعدي من خلال تشجيع انتشار المعلومات عبر كامل فضاء الميزات. وتُظهر التجارب العددية أن CorInfoMax يحقق أداءً أفضل أو تنافسيًا مقارنةً بأفضل الطرق الحالية للتعلّم الذاتي.