Look-into-Object : Modélisation de la structure auto-supervisée pour la reconnaissance d'objets

La plupart des approches de reconnaissance d'objets se concentrent principalement sur l'apprentissage de motifs visuels discriminants tout en négligeant la structure globale de l'objet. Bien que cette modélisation de la structure soit importante, elle nécessite généralement des annotations manuelles significatives et est donc très laborieuse. Dans cet article, nous proposons de « regarder à l'intérieur de l'objet » (modéliser explicitement mais intrinsèquement la structure de l'objet) en intégrant des auto-supervisions dans le cadre traditionnel. Nous montrons que le backbone de reconnaissance peut être considérablement amélioré pour une apprentissage plus robuste des représentations, sans aucun coût supplémentaire en termes d'annotation ou de vitesse d'inférence. Plus précisément, nous proposons d'abord un module d'apprentissage de l'étendue de l'objet pour localiser celui-ci selon les motifs visuels partagés parmi les instances de la même catégorie. Nous concevons ensuite un module d'apprentissage du contexte spatial pour modéliser les structures internes de l'objet, en prédiction des positions relatives au sein de son étendue. Ces deux modules peuvent être facilement intégrés à n'importe quel réseau backbone lors de l'entraînement et déconnectés lors de l'inférence. Des expériences approfondies montrent que notre approche « regarder à l'intérieur de l'objet » (LIO) réalise des gains importants en performance sur plusieurs benchmarks, y compris la reconnaissance générique d'objets (ImageNet) et les tâches de reconnaissance fine-grained (CUB, Voitures, Avions). Nous montrons également que ce paradigme d'apprentissage est hautement généralisable à d'autres tâches telles que la détection et la segmentation d'objets (MS COCO). Page du projet : https://github.com/JDAI-CV/LIO.