تقليل حجم الميزات للتعلم مع العلامات الضوضائية

يمكن اعتبار التعلم الخاضع للإشراف كعملية استخلاص المعلومات ذات الصلة من البيانات المدخلة إلى تمثيلات مميزة. تصبح هذه العملية صعبة عندما يكون الإشراف ملوثًا، لأن المعلومات المستخلصة قد لا تكون ذات صلة. في الواقع، تُظهر الأبحاث الحديثة أن الشبكات يمكن أن تُفرط في التكيف مع جميع العلامات، بما في ذلك العلامات التالفة، وبالتالي تُعاني بشدة من عدم القدرة على التعميم على مجموعات بيانات نظيفة. في هذه الورقة، نركّز على مشكلة التعلم مع علامات ملوثة، ونُدخل انحيازًا تضمينيًا (inductive bias) للضغط في هندسة الشبكات لتخفيف مشكلة التكيف الزائد. وبشكل أكثر دقة، نعيد النظر في تقنية تنظيم كلاسيكية تُسمى "الإسقاط" (Dropout) ونوعها المُدمج المعروف بـ "الإسقاط المُتداخل" (Nested Dropout). يُمكن لـ "الإسقاط" أن يعمل كقيود ضغط بفضل آلية حذف الميزات، في حين أن "الإسقاط المُتداخل" يتعلم تمثيلات ميزات مرتبة وفقًا لأهمية كل ميزة. علاوةً على ذلك، يتم دمج النماذج المدربة باستخدام تنظيم الضغط مع خوارزمية Co-teaching لتحقيق تحسين في الأداء.من الناحية النظرية، نقوم بتحليل انقسام التحيّز-الانحراف (bias-variance decomposition) للدالة الهدف تحت تنظيم الضغط، ونحلل النتيجة بالنسبة لنموذج واحد ونظام Co-teaching. يُقدّم هذا التحليل ثلاث رؤى: (1) يُظهر أن التكيف الزائد يُعدّ بالفعل مشكلة حقيقية في التعلم مع علامات ملوثة؛ (2) من خلال صيغة الحد الأقصى للمعلومات (information bottleneck)، يفسر سبب فعالية الضغط المميز في مواجهة الضوضاء في العلامات؛ (3) يقدّم تفسيرات حول التحسن في الأداء الناتج عن دمج تنظيم الضغط مع خوارزمية Co-teaching. تُظهر التجارب أن النهج البسيط الذي نقترحه يُحقق أداءً مماثلًا أو حتى أفضل من الطرق الرائدة (state-of-the-art) على مجموعات معايير تحتوي على علامات ملوثة حقيقية، مثل Clothing1M وANIMAL-10N. يمكن الوصول إلى التنفيذ العملي عبر الرابط التالي: https://yingyichen-cyy.github.io/CompressFeatNoisyLabels/.