Unüberwachte semantische Segmentierung durch Kontrastierung von Objektmaskenvorschlägen

Die Fähigkeit, dichte semantische Darstellungen von Bildern ohne Überwachung zu lernen, stellt ein zentrales Problem im Bereich der Computer Vision dar. Dennoch bleibt dieses Problem trotz seiner Bedeutung bisher weitgehend unerforscht, wobei nur wenige Ausnahmen unsupervised semantische Segmentierung auf kleinskaligen Datensätzen mit eng begrenztem visuellem Domänenbereich untersucht haben. In diesem Artikel unternehmen wir erstmals einen Ansatz, um dieses Problem auf Datensätzen zu lösen, die traditionell für den überwachten Fall verwendet werden. Dazu stellen wir einen zweistufigen Rahmen vor, der einen vorgegebenen mittleren Prior in einer kontrastiven Optimierungszielsetzung nutzt, um Pixel-Embeddings zu lernen. Dies stellt eine erhebliche Abweichung von bestehenden Ansätzen dar, die auf Proxy-Aufgaben oder end-to-end-Clustering zurückgreifen. Zudem argumentieren wir für die Bedeutung eines Prior, der Informationen über Objekte oder deren Teile enthält, und diskutieren mehrere Möglichkeiten, einen solchen Prior auf unsupervisierter Weise zu gewinnen.Experimentelle Evaluation zeigt, dass unsere Methode gegenüber bestehenden Ansätzen mehrere entscheidende Vorteile bietet. Erstens können die gelernten Pixel-Embeddings direkt mittels K-Means auf PASCAL in semantische Gruppen eingeteilt werden. Unter der vollständig unsupervisierten Einstellung gibt es bislang keine Vorgängerarbeit, die die Aufgabe der semantischen Segmentierung auf diesem anspruchsvollen Benchmark lösen konnte. Zweitens können unsere Darstellungen bei Übertragung auf neue Datensätze – beispielsweise COCO und DAVIS – gegenüber starken Baselines verbessert werden. Der Quellcode ist verfügbar.