شكل التنشيط البسيط جدًا للكشف عن التوزيعات غير الموزونة

يُشير الفصل بين مرحلتي التدريب والتنفيذ في نماذج التعلم الآلي إلى أن ليس من الممكن توقع جميع السيناريوهات التي قد تظهر أثناء التنفيذ أثناء مرحلة التدريب، وبالتالي فإن الاعتماد فقط على التطورات في التدريب له حدود واضحة. يُعدّ كشف البيانات الخارجة عن التوزيع (OOD) مجالًا مهمًا يُختبر من خلاله قدرة النموذج على التعامل مع المواقف غير المُستعرضة سابقًا: هل يدرك النموذج متى لا يعرف؟ تُظهر الطرق الحالية لكشف OOD إما إضافة خطوات تدريب إضافية، أو الحاجة إلى بيانات إضافية، أو إجراء تعديلات جوهرية على الشبكة المدربة. على النقيض من ذلك، في هذا العمل، نقترح طريقة بسيطة جدًا، تُطبَّق بعد التدريب (post-hoc)، وتعمل في الوقت الفعلي (on-the-fly) لتشكيل الإشارات النشطة، تُعرف بـ ASH، حيث يتم إزالة جزء كبير (مثلاً 90٪) من إشارات النشاط الخاصة بعينة ما في طبقة متأخرة، ويتم تبسيط أو تعديل الجزء المتبقي (مثلاً 10٪). يتم تطبيق هذه العملية أثناء التقييم (الاستنتاج)، ولا يتطلب ذلك أي إحصائيات مُستمدة من بيانات التدريب. تُظهر التجارب أن هذا التصرف البسيط يعزز التمييز بين البيانات ضمن التوزيع (in-distribution) والخارج عن التوزيع (out-of-distribution)، مما يسمح بتحقيق أداء متطور للغاية لكشف OOD على مجموعة بيانات ImageNet، دون أن يؤثر بشكل ملحوظ على دقة النموذج بالنسبة للبيانات ضمن التوزيع. يمكن العثور على الفيديو، والرسوم المتحركة، والكود على الرابط التالي: https://andrijazz.github.io/ash