Meta R-CNN : Vers un solveur général pour l'apprentissage peu supervisé au niveau des instances

Évoquant la capacité d’apprentissage rapide propre à l’humain, l’apprentissage à très peu d’exemples (few-shot learning) permet aux systèmes de vision de comprendre de nouveaux concepts à partir d’un nombre réduit d’exemples. Les approches les plus avancées, issues de l’apprentissage métalogique, se concentrent sur des images contenant un seul objet visuel. Toutefois, la présence d’un arrière-plan complexe et de plusieurs objets dans une même image complique considérablement l’extension de ces méthodes au détection ou à la segmentation d’objets en contexte peu d’exemples. Dans ce travail, nous proposons une méthodologie flexible et générale pour atteindre ces objectifs. Notre approche étend Faster /Mask R-CNN en introduisant un apprentissage métalogique basé sur les caractéristiques des régions d’intérêt (RoI), plutôt que sur les caractéristiques complètes de l’image. Ce principe simple permet de désenchevêtrer l’information relative à plusieurs objets, intégrée au fond, sans recourir à des éléments superflus, rendant ainsi Faster /Mask R-CNN capable d’agir comme un métapprenant pour réaliser ces tâches. Plus précisément, nous introduisons un réseau de remodelage de tête prédictrice (Predictor-head Remodeling Network, PRN), dont le squelette principal est partagé avec Faster /Mask R-CNN. Le PRN reçoit des images contenant des objets en contexte peu d’exemples, accompagnées de leurs boîtes englobantes ou de leurs masques, afin d’estimer des vecteurs attentifs par classe. Ces vecteurs appliquent une attention douce par canal sur les caractéristiques RoI, remodelant ainsi les têtes prédictrices de R-CNN pour détecter ou segmenter les objets correspondant aux classes représentées par ces vecteurs. Dans nos expériences, Meta R-CNN atteint l’état de l’art en détection d’objets en contexte peu d’exemples et améliore significativement la segmentation d’objets en contexte peu d’exemples par rapport à Mask R-CNN.