قياس المقاومة لانحرافات التوزيع الطبيعية في التصنيف الصوتي

ندرس مدى مقاومة النماذج الحالية لـ ImageNet تجاه انزياحات التوزيع الناتجة عن التغيرات الطبيعية في البيانات. يركّز معظم الأبحاث المتعلقة بالمقاومة على الاضطرابات الاصطناعية في الصور (مثل الضوضاء، وآثار الطقس المُحاكاة، والأمثلة العدوية، إلخ)، مما يترك مفتوحًا السؤال حول مدى ارتباط مقاومة النماذج للانزياحات الاصطناعية بانزياحات التوزيع التي تحدث في البيانات الحقيقية. مستندين إلى تقييم لـ 204 نموذجًا من ImageNet في 213 حالة اختبار مختلفة، نجد أن انتقال المقاومة من الانزياحات الاصطناعية إلى الانزياحات الطبيعية غالبًا ما يكون ضعيفًا أو غير موجود. علاوة على ذلك، لا توفر معظم التقنيات الحالية أي مقاومة لانزياحات التوزيع الطبيعية في بيئة اختبارنا. والاستثناء الرئيسي هو التدريب على مجموعات بيانات أكبر وأكثر تنوعًا، والتي زادت من المقاومة في عدة حالات، لكنها لا تزال بعيدة عن سد الفجوات في الأداء. تشير نتائجنا إلى أن انزياحات التوزيع الناتجة عن البيانات الحقيقية تظل مشكلة بحثية مفتوحة حاليًا. نقدّم بيئة الاختبار والبيانات كمصدر موارد للعمل المستقبلي عبر الرابط: https://modestyachts.github.io/imagenet-testbed/.