HyperAIHyperAI

Command Palette

Search for a command to run...

IMAE للتعلم المقاوم للضوضاء: متوسط الخطأ المطلق لا يعامل الأمثلة بالتساوي وتفاوت حجم التدرج مهم

Xinshao Wang Elyor Kodirov Yang Hua Neil M. Robertson David A. Clifton

الملخص

في هذا البحث، ندرس التعلم العميق المقاوم للبيانات التدريبية الغير طبيعية من منظور توزيع الأوزان على الأمثلة المدمجة في دوال الخسارة التجريبية، أي حجم التدرج بالنسبة للنتائج اللوجستية (logits)، وهو زاوية لم يتم دراستها بشكل شامل حتى الآن. نتيجة لذلك، لدينا اكتشافان رئيسيان:متوسط الخطأ المطلق (MAE) لا يتعامل مع الأمثلة بالتساوي. نقدم ملاحظات جديدة وتحليلًا عميقًا حول MAE، الذي تم إثباته نظريًا بأنه مقاوم للضوضاء. أولاً، نكشف عن مشكلة الاستقلال غير الكافي (underfitting) في التطبيق العملي. ثانياً، نحلل أن مقاومة MAE للضوضاء تنبع من التركيز على الأمثلة غير المؤكدة بدلاً من التعامل مع عينات التدريب بالتساوي، كما ادعى العمل السابق.يهم تباين حجم التدرج (The Variance of Gradient Magnitude). نقترح حلًا فعالًا وبسيطًا لتعزيز قدرة MAE على الاستقلال مع الحفاظ على مقاومتها للضوضاء. دون تغيير مخطط الأوزان العام لـ MAE، أي أي الأمثلة تحصل على أوزان أعلى، نقوم ببساطة بتغيير تباين الأوزان بطريقة غير خطية بحيث يتم ضبط نسبة التأثير بين أمثلتين. يُطلق على حلنا اسم MAE المحسن (IMAE). نثبت فعالية IMAE باستخدام تجارب واسعة النطاق: تصنيف الصور تحت العلامات النظيفة والضوضاء الاصطناعية للعلامات والضوضاء غير المعروفة في العالم الحقيقي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
IMAE للتعلم المقاوم للضوضاء: متوسط الخطأ المطلق لا يعامل الأمثلة بالتساوي وتفاوت حجم التدرج مهم | مستندات | HyperAI