HyperAIHyperAI
منذ 2 أشهر

IMAE للتعلم المقاوم للضوضاء: متوسط الخطأ المطلق لا يعامل الأمثلة بالتساوي وتفاوت حجم التدرج مهم

Xinshao Wang; Yang Hua; Elyor Kodirov; David A. Clifton; Neil M. Robertson
IMAE للتعلم المقاوم للضوضاء: متوسط الخطأ المطلق لا يعامل الأمثلة بالتساوي وتفاوت حجم التدرج مهم
الملخص

في هذا البحث، ندرس التعلم العميق المقاوم للبيانات التدريبية الغير طبيعية من منظور توزيع الأوزان على الأمثلة المدمجة في دوال الخسارة التجريبية، أي حجم التدرج بالنسبة للنتائج اللوجستية (logits)، وهو زاوية لم يتم دراستها بشكل شامل حتى الآن. نتيجة لذلك، لدينا اكتشافان رئيسيان:متوسط الخطأ المطلق (MAE) لا يتعامل مع الأمثلة بالتساوي. نقدم ملاحظات جديدة وتحليلًا عميقًا حول MAE، الذي تم إثباته نظريًا بأنه مقاوم للضوضاء. أولاً، نكشف عن مشكلة الاستقلال غير الكافي (underfitting) في التطبيق العملي. ثانياً، نحلل أن مقاومة MAE للضوضاء تنبع من التركيز على الأمثلة غير المؤكدة بدلاً من التعامل مع عينات التدريب بالتساوي، كما ادعى العمل السابق.يهم تباين حجم التدرج (The Variance of Gradient Magnitude). نقترح حلًا فعالًا وبسيطًا لتعزيز قدرة MAE على الاستقلال مع الحفاظ على مقاومتها للضوضاء. دون تغيير مخطط الأوزان العام لـ MAE، أي أي الأمثلة تحصل على أوزان أعلى، نقوم ببساطة بتغيير تباين الأوزان بطريقة غير خطية بحيث يتم ضبط نسبة التأثير بين أمثلتين. يُطلق على حلنا اسم MAE المحسن (IMAE). نثبت فعالية IMAE باستخدام تجارب واسعة النطاق: تصنيف الصور تحت العلامات النظيفة والضوضاء الاصطناعية للعلامات والضوضاء غير المعروفة في العالم الحقيقي.