إطار لتقييم الكشف عن الفئات خارج التوزيع وتطبيقاته على ImageNet

عند توظيف الشبكات العصبية العميقة في المهام الحساسة للخطر، يجب أن تكون قادرة على كشف الحالات التي تمت تصنيفها بفئات خارج التوزيع الذي تم تدريبها عليه. في هذه الورقة، نقدّم إطارًا جديدًا لتقييم قدرة تصنيفات الصور على اكتشاف حالات الفئات خارج التوزيع (أي الحالات التي لا تظهر تسمياتها الحقيقية في توزيع التدريب) عند مستويات مختلفة من صعوبة الكشف. ونطبق هذه التقنية على ImageNet، ونقيّم 525 نموذجًا مُدرّبًا مسبقًا ومتاحًا للجمهور من نماذج ImageNet-1k. يتوفر الشيفرة اللازمة لإنشاء معيار تقييم لأي نموذج ImageNet-1k، إلى جانب المعايير المعدّة مسبقًا لنموذجات الـ 525 المذكورة أعلاه، عبر الرابط التالي: https://github.com/mdabbah/COOD_benchmarking.وتُظهر التحليلات التي أجريت على نتائج هذه النماذج فائدة الإطار المقترح وميّزته مقارنةً بالمعايير البديلة الموجودة حاليًا، حيث كشفت عن ملاحظات جديدة عديدة، منها: (1) يُحسّن التعلم المُدمَج (knowledge distillation) بشكل منتظم من أداء الكشف عن الفئات خارج التوزيع (C-OOD)؛ (2) تُظهر مجموعة جزئية من نماذج ViTs أداءً أفضل في الكشف عن الفئات خارج التوزيع مقارنةً بأي نموذج آخر؛ (3) يحقق نموذج CLIP، الذي يدمج بين اللغة والرؤية، أداءً جيدًا في الكشف الصفر-إسقاط (zero-shot)، حيث تفوق أفضل حالة فيه 96% من جميع النماذج الأخرى التي تم تقييمها؛ (4) هناك ارتباط إيجابي بين الدقة وتصنيف التوزيع الداخلي من جهة، وأداء الكشف عن الفئات خارج التوزيع من جهة أخرى؛ (5) نقارن بين مختلف دوال الثقة المستخدمة في الكشف عن الفئات خارج التوزيع. وتُحلّل الورقة المرافقة، التي نُشرت أيضًا في ICLR 2023 (ما يمكننا تعلمه من أداء 523 تصنيفًا لـ ImageNet في التنبؤ المختار وتقدير عدم اليقين)، أداء هذه النماذج في تقدير عدم اليقين (في التصنيف، التوازن، وأداء التنبؤ المختار) في سياق توزيع البيانات الداخلي.