EAGLE: Eigenes Aggregationslernen für objektorientierte unsupervisierte semantische Segmentierung

Semantische Segmentierung hat von Anfang an auf umfangreichen pixelbasierten annotierten Daten basiert, was zur Entwicklung unüberwachter Methodologien geführt hat. Unter diesen Methoden machen Vision Transformers, die sich selbst überwachen, bei der unüberwachten semantischen Segmentierung (USS) mit ausdrucksstarken tiefen Merkmalen stetige Fortschritte. Dennoch bleibt eine wesentliche Herausforderung bestehen: das Fehlen einer expliziten objektorientierten semantischen Kodierung in patchbasierten Merkmalen. Diese technische Einschränkung führt oft zu unzureichenden Segmentierungen komplexer Objekte mit vielfältigen Strukturen. Um diese Lücke zu schließen, präsentieren wir einen neuen Ansatz, EAGLE, der das Lernen objektorientierter Repräsentationen für die unüberwachte semantische Segmentierung betont. Insbesondere führen wir EiCue ein, eine spektrale Technik, die durch eine Eigenbasis, abgeleitet aus der semantischen Ähnlichkeitsmatrix tiefer Bildmerkmale und der Farbaffinität eines Bildes, semantische und strukturelle Hinweise liefert. Durch die Integration unseres objektorientierten kontrastiven Verlusts mit EiCue leiten wir unser Modell dazu an, objektorientierte Repräsentationen mit innerbildlicher und zwischenbildlicher Objekt-Merkmal-Konsistenz zu lernen, wodurch die semantische Genauigkeit gesteigert wird. Ausführliche Experimente auf den Datensätzen COCO-Stuff, Cityscapes und Potsdam-3 zeigen die Stand-des-Wissens-ergebnisse von EAGLE bei USS auf, insbesondere durch genaue und konsistente semantische Segmentierung in komplexen Szenen.