HyperAIHyperAI

Command Palette

Search for a command to run...

Unsupervised Semantic Segmentation durch das Distillieren von Merkmalskorrespondenzen

Mark Hamilton Zhoutong Zhang Bharath Hariharan Noah Snavely William T. Freeman

Zusammenfassung

Unüberwachte semantische Segmentierung zielt darauf ab, semantisch bedeutungsvolle Kategorien innerhalb von Bildkorpora zu entdecken und zu lokalisieren, ohne jegliche Art von Annotationen zu verwenden. Um diese Aufgabe zu lösen, müssen Algorithmen Merkmale für jeden Pixel erzeugen, die sowohl semantisch sinnvoll als auch kompakt genug sind, um deutlich unterscheidbare Cluster zu bilden. Im Gegensatz zu früheren Ansätzen, die dies mit einem einzigen end-to-end-Framework erreichen, schlagen wir vor, den Merkmalslernprozess von der Komprimierung der Cluster zu trennen. Empirisch zeigen wir, dass aktuelle unüberwachte Merkmalslernframeworks bereits dichte Merkmale erzeugen, deren Korrelationen semantisch konsistent sind. Diese Beobachtung motiviert uns, STEGO (S\textbf{S}Self-supervised T\textbf{T}Transformer mit E\textbf{E}Energiebasiertem G\textbf{G}Graphen-O\textbf{O}Optimierungsansatz) zu entwerfen, ein neuartiges Framework, das unüberwachte Merkmale in hochwertige diskrete semantische Labels transformiert. Im Kern von STEGO steht eine neuartige kontrastive Verlustfunktion, die darauf abzielt, dass Merkmale kompakte Cluster bilden, gleichzeitig aber ihre Beziehungen über das gesamte Korpus hinweg bewahren. STEGO erreicht eine signifikante Verbesserung gegenüber dem vorherigen Stand der Technik sowohl bei den CocoStuff- (+14 mIoU\textbf{+14 mIoU}+14 mIoU) als auch bei den Cityscapes-Semantiksegmentierungs-Challenges (+9 mIoU\textbf{+9 mIoU}+9 mIoU).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp