تحسين التعلم المقابل يعزز مرونة النموذج في ظل ضوضاء التسمية

التصنيفات القائمة على الشبكات العصبية العميقة التي تُدرَّب باستخدام خسارة التباين الفئوي (CCE) تكون حساسة لوجود أخطاء في التسميات ضمن بيانات التدريب. تُعد إحدى الطرق الشائعة لتقليل تأثير هذه الأخطاء من نوع الطرق الصلبة المُرشَّدة (supervised robust methods)، حيث يمكن ببساطة استبدال خسارة CCE بخسارة مقاومة لعدم الدقة في التسميات، أو إعادة توزين أمثلة التدريب وتقليل الأوزان الخاصة بالعينات التي تُظهر قيم خسارة أعلى. في الآونة الأخيرة، تم اقتراح نوع آخر من الطرق باستخدام التعلم شبه المراقب (SSL)، والذي يُعدّل هذه الطرق الصلبة المُرشَّدة للاستفادة بشكل أكثر فعالية من العينات التي قد تكون ملوثة بخطأ في التسمية. وعلى الرغم من أن الطرق الصلبة المُرشَّدة تُظهر أداءً جيدًا عبر أنواع مختلفة من البيانات، إلا أن الدراسات أظهرت أنها تتفوّت الطرق التي تعتمد على التعلم شبه المراقب في مهام تصنيف الصور عندما تكون التسميات ملوثة. لذلك، لا يزال من غير الواضح ما إذا كانت هذه الطرق الصلبة المُرشَّدة قادرة على تحقيق أداء متميز إذا تمكّنت من الاستفادة بشكل أفضل من العينات غير المُسمّاة. في هذه الورقة، نُظهر أنه من خلال تهيئة الطرق الصلبة المُرشَّدة باستخدام تمثيلات تم تعلّمها عبر التعلم التمييزي (contrastive learning)، يمكن تحقيق تحسين كبير في الأداء تحت ظروف وجود أخطاء في التسميات. وربما يكون من المُفاجئ أن حتى أبسط طريقة (تدريب فاصل باستخدام خسارة CCE) يمكنها التفوق على أفضل طريقة حالية تعتمد على التعلم شبه المراقب بنسبة تزيد عن 50% في حالات ارتفاع نسبة الأخطاء في التسميات، شريطة تهيئة النموذج باستخدام التعلم التمييزي. سيتم إتاحة تنفيذنا بشكل عام على الرابط: {\url{https://github.com/arghosh/noisy_label_pretrain}}.