Command Palette
Search for a command to run...
Reconnaissance en ensemble ouvert : un bon classificateur en ensemble fermé suffit-il ?
Reconnaissance en ensemble ouvert : un bon classificateur en ensemble fermé suffit-il ?
Sagar Vaze Kai Han Andrea Vedaldi Andrew Zisserman
Résumé
La capacité à déterminer si un échantillon de test appartient ou non à l'une des classes sémantiques présentes dans l'ensemble d'entraînement d'un classificateur est cruciale pour le déploiement pratique du modèle. Cette tâche est désignée sous le nom de reconnaissance en ensemble ouvert (open-set recognition, OSR), et a suscité un intérêt croissant ces dernières années. Dans cet article, nous démontrons d'abord que la capacité d'un classificateur à effectuer une décision du type « aucune des classes ci-dessus » est fortement corrélée à sa précision sur les classes fermées (closed-set). Nous constatons que cette relation est robuste vis-à-vis des différentes fonctions de perte et des architectures utilisées, et la validons à la fois sur les benchmarks standards d'OSR et sur une évaluation à grande échelle sur ImageNet. Ensuite, nous exploitons cette corrélation pour améliorer les performances d'une méthode de base d'OSR fondée sur le score maximal de logit, en renforçant préalablement la précision du classificateur sur les classes fermées. Grâce à cette base performante, nous atteignons l'état de l'art sur plusieurs benchmarks d'OSR. De manière similaire, nous améliorons les performances de la méthode d'OSR actuellement la plus avancée en augmentant sa précision en conditions fermées, mais la différence résiduelle avec la base forte reste négligeable. Enfin, nous introduisons le « Semantic Shift Benchmark » (SSB), un nouveau benchmark qui mieux reflète la tâche de détection de nouveauté sémantique, contrairement à d'autres types de décalage de distribution étudiés dans des sous-champs connexes, tels que la détection d'observations hors distribution (out-of-distribution detection). Sur cette nouvelle évaluation, nous confirmons une fois de plus qu'il existe une différence négligeable entre la base forte et la méthode d'état de l'art existante. Page du projet : https://www.robots.ox.ac.uk/~vgg/research/osr/