HyperAIHyperAI
منذ 17 أيام

التعلم القوي للسياقات الطويلة والمتعددة تحت ضوضاء التسمية

Tong Wei, Jiang-Xin Shi, Wei-Wei Tu, Yu-Feng Li
التعلم القوي للسياقات الطويلة والمتعددة تحت ضوضاء التسمية
الملخص

لقد لاقت التعلم الطويل الذيل (Long-tailed learning) اهتمامًا كبيرًا مؤخرًا، بهدف تحسين التعميم لفئات الذيل (tail classes). ومعظم الدراسات الحالية تعتمد على التعلم المراقب دون أخذ في الاعتبار الازدواجية الشائعة للضوضاء في مجموعة التدريب. ولتحقيق تقدم نحو سيناريوهات أكثر واقعية، تبحث هذه الدراسة في مشكلة ضوضاء التسميات ضمن توزيع التسميات الطويلة الذيل. نلاحظ أولًا التأثير السلبي لضوضاء التسميات على أداء الطرق الحالية، مما يكشف عن التحديات الجوهرية لهذه المشكلة. وبما أن "تقنية التقليل الصغير للخسارة" (small-loss trick) هي أكثر الطرق شيوعًا في الأدبيات السابقة للتعامل مع ضوضاء التسميات، نجد أن هذه الطريقة تفشل في ظل توزيع التسميات الطويلة الذيل. والسبب هو أن الشبكات العصبية العميقة لا تستطيع التمييز بين الأمثلة ذات التسميات الصحيحة والخاطئة في فئات الذيل. ولتجاوز هذه القيود، نُنشئ طريقة جديدة للكشف عن الضوضاء تعتمد على نموذج نموذجي (prototypical)، من خلال تصميم مقياس مبني على المسافة مقاوم لضوضاء التسميات. استنادًا إلى هذه النتائج، نقترح إطارًا مقاومًا، يُسمى ~\algo، يحقق كشفًا عن الضوضاء في سياق التعلم الطويل الذيل، يليه تسمية وهمية ناعمة (soft pseudo-labeling) من خلال مزيج من نعومة التسميات (label smoothing) والتخمين المتنوع للتسميات. علاوة على ذلك، يمكن لإطارنا الاستفادة الطبيعية من خوارزميات التعلم شبه المراقب (semi-supervised learning) لتحسين التعميم بشكل أكبر. أظهرت تجارب واسعة على مجموعات بيانات معيارية وواقعية تفوق طريقة العمل المقترحة على الطرق القائمة، حيث تفوقت طريقة العمل لدينا على DivideMix بنسبة 3% في دقة الاختبار. سيتم إصدار الشفرة المصدرية قريبًا.

التعلم القوي للسياقات الطويلة والمتعددة تحت ضوضاء التسمية | أحدث الأوراق البحثية | HyperAI