التعلم ذاتيًا من خلال تقدير توزيعات الفئات المزدوجة

نقدم طريقة تعلم التمثيل الذاتي المراقبة TWIST، وهي طريقة بسيطة وقابلة للشرح نظريًا من خلال تصنيف مجموعات بيانات كبيرة غير مصنفة بطريقة شاملة. نستخدم شبكة توأمية (Siamese Network) تنتهي بعملية softmax لإنتاج توزيعين فرعيين لفئتين من صور معززة. بدون إشراف، نقوم بفرض اتساق توزيع الفئات بين التعزيزات المختلفة. ومع ذلك، فإن مجرد تقليل الاختلاف بين التعزيزات سيؤدي إلى حلول متلاشية، أي إخراج نفس توزيع الاحتمالات للفئة لكل الصور. في هذه الحالة، لا يبقى أي معلومات عن الصورة الإدخال. لحل هذه المشكلة، نقترح تعظيم المعلومات المتبادلة بين الإدخال وتوقعات الفئة. بشكل خاص، نقوم بتقليل انتروبيا التوزيع لكل عينة لجعل توقع الفئة لكل عينة حاسمًا وتعظيم انتروبيا التوزيع المتوسط لجعل توقعات العينات المختلفة متنوعة. بهذه الطريقة، يمكن لـ TWIST أن تتجنب الحلول المتلاشية بشكل طبيعي دون تصاميم خاصة مثل الشبكة غير المتماثلة (asymmetric network)، عملية إيقاف التدرج (stop-gradient operation)، أو المشغل الزخم (momentum encoder). نتيجة لذلك، أظهرت TWIST أداءً أفضل من أفضل الأساليب الحالية في مجموعة واسعة من المهام. وبشكل خاص، حققت TWIST أداءً مفاجئًا في التعلم شبه المراقب، حيث بلغت دقة الدقة الأولى 61.2٪ باستخدام 1٪ فقط من علامات ImageNet واستخدام ResNet-50 كعمود فقري، مما يتفوق على النتائج السابقة بأفضلية مطلقة قدرها 6.2٪. الرموز والأنماط المدربة مسبقًا متاحة على: https://github.com/bytedance/TWIST