HyperAIHyperAI
منذ 8 أيام

هل يُخفف التسوية التصنيفية من ضوضاء التصنيفات؟

Michal Lukasik, Srinadh Bhojanapalli, Aditya Krishna Menon, Sanjiv Kumar
هل يُخفف التسوية التصنيفية من ضوضاء التصنيفات؟
الملخص

يُستخدم التمليس التسمية بشكل شائع في تدريب نماذج التعلم العميق، حيث يتم خلط التسميات التدريبية ذات التمثيل الواحد (one-hot) مع متجهات التسمية الموحدة. وقد أظهرت التجارب عمليًا أن التمليس يُحسّن كلاً من الأداء التنبؤي وضبط النموذج (model calibration). في هذه الورقة، ندرس ما إذا كان التمليس التسمية فعّالًا أيضًا كوسيلة للتعامل مع ضجيج التسميات. وعلى الرغم من أن التمليس يُظهر تفاقمًا لهذه المشكلة — إذ يعادل إدخال ضجيج متماثل إلى التسميات — نوضح كيف يرتبط بعائلة عامة من تقنيات تصحيح الدالة الخسارة المستخدمة في الأدبيات المتعلقة بضجيج التسميات. وباستناد إلى هذه العلاقة، نُظهر أن التمليس التسمية يُنافس تقنيات تصحيح الدالة الخسارة في ظل وجود ضجيج التسميات. علاوةً على ذلك، نُبين أن التمليس التسمية في النموذج المُدرّس (teacher) يكون مفيدًا عند استخلاص النماذج من بيانات مُلوثة بالضجيج؛ وهو ما يتناقض مع النتائج الحديثة المتعلقة بالمشاكل الخالية من الضجيج، ويُضيء بشكل إضافي على السياقات التي يكون فيها التمليس التسمية مفيدًا.