Co-localisation avec des caractéristiques catégoriellement cohérentes et la propagation de la distance géodésique

La co-localisation est le problème de localiser des objets de la même classe en utilisant uniquement l'ensemble d'images qui les contiennent. Cette tâche est particulièrement ardue car le détecteur d'objets doit être construit sans exemples négatifs, qui pourraient fournir des signaux de supervision plus informatifs. L'idée principale de notre méthode consiste à regrouper l'espace des caractéristiques d'un CNN pré-entraîné génériquement, afin de trouver un ensemble de caractéristiques du CNN qui sont activées de manière cohérente et à un niveau élevé pour une catégorie d'objets, que nous appelons caractéristiques CNN cohérentes par catégorie (category-consistent CNN features). Ensuite, nous propageons leur carte d'activation combinée en utilisant les distances géodésiques des surpixels pour la co-localisation. Dans notre première série d'expériences, nous montrons que la méthode proposée atteint des performances de pointe sur trois benchmarks connexes : PASCAL 2007, PASCAL-2012 et le dataset Object Discovery. Nous démontrons également que notre méthode est capable de détecter et de localiser des catégories réellement inconnues, avec une précision significativement supérieure à celle des méthodes précédentes de pointe, sur six catégories ImageNet réservées. Notre approche intuitive obtient ce succès sans aucune proposition régionale ou détecteur d'objets et peut s'appuyer sur un CNN pré-entraîné uniquement pour des tâches de classification d'images, sans aucun ajustement fin supplémentaire.