Ausnutzung von Informationsniveaus auf Instanz-, Bild- und Datensatzebene für schwach überwachte Instanzsegmentierung

Schwach beschriftete semantische Instanzsegmentierung unter Verwendung lediglich von bildweisen Beschriftungen – anstelle teurer pixelgenauer Masken oder Rechteckannotationen – stellt ein zentrales Problem dar, um die datenintensive Natur tiefgehender Lernverfahren zu entschärfen. In diesem Artikel lösen wir dieses herausfordernde Problem, indem wir die bildweisen Informationen aller Trainingsbilder in einem großen Wissensgraphen aggregieren und semantische Beziehungen aus diesem Graphen ausnutzen. Konkret beginnen wir mit allgemeinen, kategoriefreien objektbasierten Vorschlägen (Segment-based Object Proposals, SOP). Wir schlagen einen mehrinstanzbasierten Lernansatz (Multiple Instance Learning, MIL) vor, der end-to-end mit bildweisen Etiketten trainiert werden kann. Für jeden Vorschlag berechnet dieser MIL-Ansatz gleichzeitig Wahrscheinlichkeitsverteilungen und kategoriensensible semantische Merkmale, aus denen wir einen großen ungerichteten Graphen konstruieren können. Auch die Kategorie „Hintergrund“ ist in diesem Graphen enthalten, um eine große Menge an verrauschten Objektvorschlägen zu eliminieren. Eine optimale mehrwegebasierte Zerlegung dieses Graphen ermöglicht somit die Zuweisung zuverlässiger Kategorielabel an jeden Vorschlag. Die gereinigten SOPs mit zugewiesenen Kategorielabeln können als Pseudoinstanzsegmentierung der Trainingsbilder betrachtet werden und dienen zur Ausbildung vollständig überwachter Modelle. Das vorgeschlagene Verfahren erreicht state-of-the-art-Leistung sowohl für schwach beschriftete Instanzsegmentierung als auch für semantische Segmentierung.