Unsupervised Semantic Segmentation durch das Distillieren von Merkmalskorrespondenzen

Unüberwachte semantische Segmentierung zielt darauf ab, semantisch bedeutungsvolle Kategorien innerhalb von Bildkorpora zu entdecken und zu lokalisieren, ohne jegliche Art von Annotationen zu verwenden. Um diese Aufgabe zu lösen, müssen Algorithmen Merkmale für jeden Pixel erzeugen, die sowohl semantisch sinnvoll als auch kompakt genug sind, um deutlich unterscheidbare Cluster zu bilden. Im Gegensatz zu früheren Ansätzen, die dies mit einem einzigen end-to-end-Framework erreichen, schlagen wir vor, den Merkmalslernprozess von der Komprimierung der Cluster zu trennen. Empirisch zeigen wir, dass aktuelle unüberwachte Merkmalslernframeworks bereits dichte Merkmale erzeugen, deren Korrelationen semantisch konsistent sind. Diese Beobachtung motiviert uns, STEGO ($\textbf{S}$elf-supervised $\textbf{T}$ransformer mit $\textbf{E}$nergiebasiertem $\textbf{G}$raphen-$\textbf{O}$ptimierungsansatz) zu entwerfen, ein neuartiges Framework, das unüberwachte Merkmale in hochwertige diskrete semantische Labels transformiert. Im Kern von STEGO steht eine neuartige kontrastive Verlustfunktion, die darauf abzielt, dass Merkmale kompakte Cluster bilden, gleichzeitig aber ihre Beziehungen über das gesamte Korpus hinweg bewahren. STEGO erreicht eine signifikante Verbesserung gegenüber dem vorherigen Stand der Technik sowohl bei den CocoStuff- ($\textbf{+14 mIoU}$) als auch bei den Cityscapes-Semantiksegmentierungs-Challenges ($\textbf{+9 mIoU}$).