BBAM: Bounding Box Attribution Map für schwach überwachte semantische und instanzbasierte Segmentierung

Schwach überwachte Segmentierungsverfahren, die auf Bounding-Box-Annotierungen basieren, konzentrieren sich darauf, aus jeder Box, die ein Objekt enthält, eine Pixel-Level-Maske zu erhalten. Bestehende Methoden hängen in der Regel von einem klassenunabhängigen Maskengenerator ab, der auf den niedrigstufigen Informationen innerhalb eines Bildes operiert. In dieser Arbeit nutzen wir höherstufige Informationen aus dem Verhalten eines trainierten Objekterkenners, indem wir die kleinsten Bereiche des Bildes suchen, aus denen der Objekterkanner fast dasselbe Ergebnis erzeugt wie aus dem gesamten Bild. Diese Bereiche bilden eine Bounding-Box-Zuordnungskarte (BBAM), die das Zielobjekt in seiner Bounding Box identifiziert und somit als Pseudo-Ground-Truth für schwach überwachte semantische und instanzbasierte Segmentierung dient. Dieser Ansatz übertrifft signifikant vergleichbare aktuelle Techniken sowohl im PASCAL VOC- als auch im MS COCO-Benchmark bei schwach überwachter semantischer und instanzbasierter Segmentierung. Darüber hinaus liefern wir eine detaillierte Analyse unserer Methode, die tiefergehende Einblicke in das Verhalten der BBAM bietet.