Dans ou hors du domaine ? Correction de l'évaluation de la détection d'images hors distribution sur ImageNet

La détection des entrées hors distribution (OOD) consiste à identifier les inputs qui ne sont pas liés à la tâche de distribution in-distribution (ID). L’évaluation de la performance en détection OOD, lorsque la distribution in-distribution correspond à ImageNet-1K, est généralement réalisée sur une petite gamme de jeux de données OOD de test. Nous constatons que la plupart des jeux de données OOD utilisés actuellement, y compris ceux issus de la littérature sur la reconnaissance en ensemble ouvert (OSR), présentent des problèmes sérieux : dans certains cas, plus de 50 % des échantillons du jeu de données appartiennent à l’une des classes de la distribution in-distribution. Ces échantillons erronés biaisent fortement l’évaluation des détecteurs OOD. À titre de solution, nous introduisons NINCO, un nouveau jeu de données OOD de test, chaque échantillon étant soigneusement vérifié comme étant exempt de classes ID, et dont la granularité fine des classes OOD permet une analyse détaillée des forces et des modes d’échec d’un détecteur OOD, en particulier lorsqu’il est combiné à plusieurs tests unitaires synthétiques « OOD ». Nous fournissons des évaluations approfondies sur un large éventail d’architectures et de méthodes de détection OOD sur NINCO ainsi que sur les tests unitaires, révélant de nouvelles perspectives sur les faiblesses des modèles et l’impact du pré-entraînement sur la performance en détection OOD. Le code et les données sont disponibles à l’adresse suivante : https://github.com/j-cb/NINCO.