Exploration des limites de la détection hors distribution

La détection des données hors distribution proche (near OOD) constitue un défi majeur pour les réseaux de neurones profonds. Nous démontrons que les transformateurs pré-entraînés à grande échelle peuvent améliorer significativement l’état de l’art (SOTA) sur une variété de tâches de détection OOD proche, à travers différentes modalités de données. Par exemple, sur la tâche de détection OOD entre CIFAR-100 et CIFAR-10, nous améliorons le score AUROC de 85 % (actuel SOTA) à plus de 96 % en utilisant des Vision Transformers pré-entraînés sur ImageNet-21k. Sur un défi difficile de détection OOD en génomique, nous passons de 66 % à 77 % d’AUROC en exploitant des transformateurs avec un pré-entraînement non supervisé. Pour aller plus loin dans l’amélioration des performances, nous explorons le cadre de l’exposition aux outliers en peu d’exemples (few-shot outlier exposure), dans lequel un petit nombre d’exemples provenant des classes d’outliers peut être disponible ; nous montrons que les transformateurs pré-entraînés se révèlent particulièrement adaptés à cette approche, et que l’AUROC pour la détection OOD entre CIFAR-100 et CIFAR-10 peut atteindre 98,7 % avec seulement une image par classe OOD, et 99,46 % avec dix images par classe OOD. Pour les transformateurs pré-entraînés sur des données multimodales image-texte, tels que CLIP, nous explorons une nouvelle méthode consistant à n’utiliser que les noms des classes d’outliers comme source unique d’information, sans aucune image associée, et montrons que cette approche surpasse l’état de l’art précédent sur les tâches standard de détection OOD en vision.