لتنعيم أم لا؟ متى يلتقي التخفيف التسمية بالعلامات الضوضائية

يُعدّ التمليس التصنيفي (Label Smoothing - LS) نموذجًا تعلّميًا مُتزايدًا الانتشار، حيث يعتمد على المتوسط المرجح بإيجابية بين التصنيفات التدريبية الصارمة (hard labels) والتصنيفات الناعمة الموحدة التوزيع (soft labels). وقد أُثبت أن LS يعمل كعامل تنظيم (regularizer) عند استخدام بيانات تدريب ذات تصنيفات صارمة، مما يُحسّن قدرة النموذج على التعميم. وفي وقت لاحق، أُبلغ أن LS يُسهم حتى في تحسين المقاومة (robustness) عند التعلّم مع تصنيفات مُشوشة. ومع ذلك، لاحظنا أن ميزة LS تختفي عند العمل في بيئة تشويش تصنيفات عالية. وبصورة مُتوقعة، يعود ذلك إلى زيادة الإنتروبيا لـ $\mathbb{P}(\text{noisy label}|X)$ عند ارتفاع معدل التشويش، حيث تؤدي إضافة LS بشكل إضافي إلى "تمليس زائد" (over-smooth) للتوزيع اللاحق المُقدّر. وقد استمرّنا في اكتشاف أن عدة حلول مُعتمدة على التعلّم مع تصنيفات مشوّشة في الأدبيات ترتبط بشكل أوثق بـ "تمليس سلبي" أو "عدم تمليس التصنيف" (Negative/Not Label Smoothing - NLS)، والذي يعمل بشكل عكسي بالنسبة لـ LS، ويُعرّف باستخدام وزن سالب لدمج التصنيفات الصارمة والتصنيفات الناعمة! ونقدّم تفسيرات لخصائص LS وNLS عند التعلّم مع تصنيفات مشوّشة. وبالإضافة إلى خصائص مثبتة أخرى، نُظهر نظريًا أن NLS يكون أكثر فائدة عندما تكون معدلات تشويش التصنيفات عالية. كما نقدّم نتائج تجريبية واسعة على عدة معايير (benchmarks) لدعم هذه النتائج. ويجدر الإشارة إلى أن الشفرة المصدرية مُتاحة للجمهور عبر الرابط: https://github.com/UCSC-REAL/negative-label-smoothing.