DiscoBox: Schwach überwachte Instanzsegmentierung und semantische Korrespondenz durch Kastenaufsicht

Wir stellen DiscoBox vor, einen neuen Rahmen, der Instanzsegmentierung und semantische Korrespondenz unter Verwendung von Bounding-Box-Supervision gemeinsam lernt. Insbesondere schlagen wir ein selbst-ensemblebasiertes Framework vor, bei dem Instanzsegmentierung und semantische Korrespondenz durch eine strukturierte Lehrkraft zusätzlich zur Bounding-Box-Supervision geleitet werden. Die Lehrkraft ist ein strukturiertes Energiemodell, das ein paarweises Potential und ein cross-image-Potential (Bild-zu-Bild-Potential) enthält, um die paarweisen Pixelbeziehungen sowohl innerhalb als auch zwischen den Boxen zu modellieren. Das Minimieren der Energie der Lehrkraft ergibt gleichzeitig verfeinerte Objektmasken und dichte Korrespondenzen zwischen intra-klasse-Objekten, die als Pseudo-Labels verwendet werden, um das Task-Netzwerk zu überwachen und positive/negative Korrespondenzpaare für dichtes kontrastives Lernen bereitzustellen. Wir zeigen eine symbiotische Beziehung, in der die beiden Aufgaben sich gegenseitig nutzen. Unser bestes Modell erreicht auf COCO Instanzsegmentierung 37,9% AP (Average Precision), was schwach überwachte Methoden übertreffen und mit voll überwachten Methoden wettbewerbsfähig ist. Zudem erzielen wir state-of-the-art-Ergebnisse bei schwach überwachtem Lernen auf PASCAL VOC12 und PF-PASCAL mit Echtzeit-Inferenz.