Vollständige Instanzenbergbau für schwach überwachte Instanzsegmentierung

Die schwach überwachte Instanzsegmentierung (WSIS) unter Verwendung nur von bildbasierten Labels ist eine herausfordernde Aufgabe aufgrund der Schwierigkeit, grobe Annotationen mit der feineren Aufgabe auszurichten. Dennoch hat die WSIS dank des Fortschritts in tiefen neuronalen Netzen (DNNs) erhebliche Aufmerksamkeit gefunden. Im Rahmen eines vorschlagbasierten Paradigmas stoßen wir auf ein Problem der redundanten Segmentierung, das durch die Darstellung einer einzelnen Instanz durch mehrere Vorschläge entsteht. Zum Beispiel füttern wir ein Bild eines Hundes und Vorschläge ins Netzwerk und erwarten, dass nur ein Vorschlag ausgegeben wird, der den Hund enthält, aber das Netzwerk gibt mehrere Vorschläge aus. Um dieses Problem zu lösen, schlagen wir einen neuen Ansatz für WSIS vor, der sich auf die Online-Verfeinerung vollständiger Instanzen konzentriert. Dies geschieht durch die Verwendung von MaskIoU-Köpfen zur Vorhersage der Integritätswerte von Vorschlägen und einer Strategie zur Ausgrabung vollständiger Instanzen (Complete Instances Mining, CIM), um das Problem der redundanten Segmentierung explizit zu modellieren und verfeinerte Pseudolabels zu generieren. Unser Ansatz ermöglicht es dem Netzwerk, sich mehrerer Instanzen und vollständiger Instanzen bewusst zu werden. Wir verbessern seine Robustheit zudem durch die Einbindung einer Anti-Rauschstrategie. Empirische Evaluierungen an den Datensätzen PASCAL VOC 2012 und MS COCO zeigen, dass unsere Methode mit einem bemerkenswerten Abstand den aktuellen Stand der Technik erreicht. Unsere Implementierung wird unter https://github.com/ZechengLi19/CIM verfügbar gemacht.