HyperAIHyperAI

Command Palette

Search for a command to run...

لتنعيم أم لا؟ متى يلتقي التخفيف التسمية بالعلامات الضوضائية

Jiaheng Wei Hangyu Liu Tongliang Liu Gang Niu Masashi Sugiyama Yang Liu

الملخص

يُعدّ التمليس التصنيفي (Label Smoothing - LS) نموذجًا تعلّميًا مُتزايدًا الانتشار، حيث يعتمد على المتوسط المرجح بإيجابية بين التصنيفات التدريبية الصارمة (hard labels) والتصنيفات الناعمة الموحدة التوزيع (soft labels). وقد أُثبت أن LS يعمل كعامل تنظيم (regularizer) عند استخدام بيانات تدريب ذات تصنيفات صارمة، مما يُحسّن قدرة النموذج على التعميم. وفي وقت لاحق، أُبلغ أن LS يُسهم حتى في تحسين المقاومة (robustness) عند التعلّم مع تصنيفات مُشوشة. ومع ذلك، لاحظنا أن ميزة LS تختفي عند العمل في بيئة تشويش تصنيفات عالية. وبصورة مُتوقعة، يعود ذلك إلى زيادة الإنتروبيا لـ P(noisy labelX)\mathbb{P}(\text{noisy label}|X)P(noisy labelX) عند ارتفاع معدل التشويش، حيث تؤدي إضافة LS بشكل إضافي إلى "تمليس زائد" (over-smooth) للتوزيع اللاحق المُقدّر. وقد استمرّنا في اكتشاف أن عدة حلول مُعتمدة على التعلّم مع تصنيفات مشوّشة في الأدبيات ترتبط بشكل أوثق بـ "تمليس سلبي" أو "عدم تمليس التصنيف" (Negative/Not Label Smoothing - NLS)، والذي يعمل بشكل عكسي بالنسبة لـ LS، ويُعرّف باستخدام وزن سالب لدمج التصنيفات الصارمة والتصنيفات الناعمة! ونقدّم تفسيرات لخصائص LS وNLS عند التعلّم مع تصنيفات مشوّشة. وبالإضافة إلى خصائص مثبتة أخرى، نُظهر نظريًا أن NLS يكون أكثر فائدة عندما تكون معدلات تشويش التصنيفات عالية. كما نقدّم نتائج تجريبية واسعة على عدة معايير (benchmarks) لدعم هذه النتائج. ويجدر الإشارة إلى أن الشفرة المصدرية مُتاحة للجمهور عبر الرابط: https://github.com/UCSC-REAL/negative-label-smoothing.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp