Réfléchir à la détection des données hors distribution (OOD) : le modèle d'image masquée suffit amplement

Le cœur de la détection des données hors distribution (OOD) consiste à apprendre une représentation des données en distribution (ID), qui soit distincte des échantillons OOD. Les travaux antérieurs ont appliqué des méthodes basées sur la reconnaissance pour apprendre les caractéristiques ID, mais celles-ci ont tendance à capturer des raccourcis plutôt que des représentations complètes. Dans ce travail, nous constatons de manière surprenante que l’utilisation simple de méthodes basées sur la reconstruction peut considérablement améliorer les performances de la détection OOD. Nous explorons en profondeur les principaux facteurs influençant la détection OOD et découvrons que les tâches prétextes basées sur la reconstruction ont le potentiel de fournir un prior généralement applicable et efficace, qui aide le modèle à mieux apprendre les distributions intrinsèques des données du jeu de données ID. Plus précisément, nous adoptons le Masked Image Modeling comme tâche prétexte dans notre cadre de détection OOD (MOOD). Sans recourir à des techniques complexes, MOOD dépasse les états de l’art précédents de 5,7 % pour la détection OOD à une seule classe, de 3,0 % pour la détection OOD à plusieurs classes, et de 2,1 % pour la détection OOD proche de la distribution. Il surpasser même la méthode de détection OOD par exposition aux outliers avec 10 exemples par classe, bien que nous n’ayons inclus aucun échantillon OOD dans notre processus d’apprentissage.