DiscoBox : Segmentation d'instances faiblement supervisée et correspondance sémantique à partir de la supervision par boîtes

Nous présentons DiscoBox, un cadre novateur qui apprend conjointement la segmentation d'instances et la correspondance sémantique en utilisant une supervision par boîtes englobantes. Plus précisément, nous proposons un cadre d'autos-ensemble où la segmentation d'instances et la correspondance sémantique sont guidées conjointement par un modèle enseignant structuré, en plus de la supervision par boîtes englobantes. Ce modèle enseignant est un modèle énergétique structuré intégrant un potentiel pair à pair et un potentiel inter-images pour modéliser les relations de pixels paires à paires à l'intérieur et entre les boîtes. La minimisation de l'énergie du modèle enseignant produit simultanément des masques d'objets affinés et des correspondances denses entre les objets intra-classe, qui sont utilisés comme pseudo-étiquettes pour superviser le réseau de tâches et fournir des paires de correspondance positives/négatives pour l'apprentissage contrastif dense. Nous démontrons une relation symbiotique où les deux tâches se bénéficient mutuellement. Notre meilleur modèle atteint 37,9% AP sur la segmentation d'instances COCO, surpassant les méthodes précédemment faiblement supervisées et se comparant favorablement aux méthodes supervisées. Nous obtenons également des résultats faiblement supervisés de pointe sur PASCAL VOC12 et PF-PASCAL avec une inférence en temps réel.