استكشاف حدود كشف التوزيعات غير المُوزَّعة

تمييز البيانات الخارجة عن التوزيع (OOD) القريبة يُعد تحديًا كبيرًا للشبكات العصبية العميقة. نُظهر أن المحولات المُدرَّبة مسبقًا على نطاق واسع تُمكن من تحسين الأداء المُستوى الأعلى (SOTA) بشكل كبير في مجموعة متنوعة من مهام تمييز OOD عبر أنواع مختلفة من البيانات. على سبيل المثال، في مهمة تمييز OOD بين CIFAR-100 وCIFAR-10، نُحسّن مقياس AUROC من 85% (الحد الأقصى الحالي) إلى أكثر من 96% باستخدام محولات الرؤية (Vision Transformers) المُدرَّبة مسبقًا على ImageNet-21k. وفي معيار صعب لتمييز OOD في مجال الجينوميات، نُحسّن AUROC من 66% إلى 77% باستخدام المحولات مع التدريب غير المُشرَّف. ولتحسين الأداء بشكل أكبر، نستكشف بيئة "عرض النماذج القليلة من الفئة الخارجة عن التوزيع" (few-shot outlier exposure)، حيث قد تكون هناك بعض الأمثلة من الفئات الخارجة عن التوزيع متاحة؛ ونُظهر أن المحولات المُدرَّبة مسبقًا مناسبة جدًا لهذه البيئة، ويمكن أن يُحسَّن مقياس AUROC في تمييز OOD بين CIFAR-100 وCIFAR-10 إلى 98.7% باستخدام صورة واحدة فقط لكل فئة خارجة عن التوزيع، وصولًا إلى 99.46% باستخدام 10 صور لكل فئة. بالنسبة للمحولات المُدرَّبة مسبقًا متعددة الوسائط مثل CLIP، نستكشف طريقة جديدة تستخدم فقط أسماء الفئات الخارجة عن التوزيع كمصدر وحيد للمعلومات، دون الحاجة إلى أي صور مصاحبة، ونُظهر أن هذه الطريقة تتفوق على الأداء الأفضل المُسجَّل سابقًا في مهام معيارية لتمييز OOD في الرؤية.