Schwach- und Halbüberwachte Panoptische Segmentierung

Wir präsentieren ein schwach überwachtes Modell, das sowohl semantische als auch instanzbasierte Segmentierung durchführt – ein besonders relevantes Problem angesichts der erheblichen Kosten für die pixelgenaue Annotation dieser Aufgaben. Im Gegensatz zu vielen gängigen Ansätzen zur Instanzsegmentierung, die auf Objekterkennern basieren, macht unser Verfahren keine überlappenden Instanzen vorhersagbar. Darüber hinaus sind wir in der Lage, sowohl "Thing"-Klassen als auch "Stuff"-Klassen zu segmentieren und damit alle Pixel im Bild zu erklären. "Thing"-Klassen werden mit Bounding Boxes schwach überwacht, während "Stuff"-Klassen mit bildbasierten Tags annotiert werden. Wir erzielen Stand-der-Technik-Ergebnisse auf Pascal VOC, sowohl bei vollständiger als auch bei schwacher Überwachung (was etwa 95 % der Leistung bei vollständiger Überwachung erreicht). Des Weiteren präsentieren wir die ersten Ergebnisse unter schwacher Überwachung auf Cityscapes für beide semantische und instanzbasierte Segmentierung. Schließlich nutzen wir unser schwach überwachtes Framework, um die Beziehung zwischen Annotierungsqualität und Vorhersageleistung zu analysieren, was für Ersteller von Datensätzen von Interesse ist.