Entdeckung von Objektmasken mit Transformers für semantische Segmentierung ohne Überwachung

Die Aufgabe der unsupervisierten semantischen Segmentierung zielt darauf ab, Pixel in semantisch sinnvollen Gruppen zu gruppieren. Insbesondere sollten Pixel, die derselben Gruppe zugeordnet sind, hochwertige semantische Eigenschaften wie ihre Objekt- oder Teil-Kategorie gemeinsam aufweisen. In diesem Artikel präsentieren wir MaskDistill: einen neuartigen Ansatz für die unsupervised semantische Segmentierung, der auf drei zentralen Ideen basiert. Erstens befürworten wir eine datengestützte Strategie zur Generierung von Objektmasken, die als vorherige Information für die Pixelgruppierung bei der semantischen Segmentierung dienen. Dieser Ansatz verzichtet auf handgefertigte Vorkenntnisse, die oft für spezifische Szenenkompositionen entworfen werden und die Anwendbarkeit konkurrierender Frameworks einschränken. Zweitens gruppiert MaskDistill die Objektmasken, um Pseudowahrheitsdaten für das Training eines initialen Objektsegmentierungsmodells zu erzeugen. Drittens nutzen wir dieses Modell, um masken niedriger Qualität auszusortieren. Diese Strategie reduziert den Rausch in unserer vorherigen Information zur Pixelgruppierung und führt zu einer sauberen Sammlung von Masken, die wir zur Ausbildung eines endgültigen Segmentierungsmodells verwenden. Durch die Kombination dieser Komponenten erreichen wir eine deutlich bessere Leistung im Vergleich zu früheren Arbeiten bei der unsupervised semantischen Segmentierung auf PASCAL (+11% mIoU) und COCO (+4% mask AP50). Interessanterweise hängt unser Framework im Gegensatz zu bestehenden Ansätzen nicht an niedrigstufigen Bildmerkmalen und ist nicht auf objektzentrierte Datensätze beschränkt. Der Quellcode und die Modelle werden verfügbar gemacht.