HyperAIHyperAI

Command Palette

Search for a command to run...

Boosting der unüberwachten semantischen Segmentierung durch Hauptmaskenvorschläge

Oliver Hahn Nikita Araslanov Simone Schaub-Meyer Stefan Roth

Zusammenfassung

Die unüberwachte semantische Segmentierung strebt danach, Bilder automatisch in semantisch bedeutsame Bereiche zu unterteilen, indem sie globale semantische Kategorien innerhalb eines Bildkorpus identifiziert, ohne dabei irgende Form von Annotation zu verwenden. Aufbauend auf jüngsten Fortschritten im Bereich des selbstüberwachten Repräsentationslernens konzentrieren wir uns darauf, wie diese großen vortrainierten Modelle für die nachgelagerte Aufgabe der unüberwachten Segmentierung genutzt werden können. Wir stellen PriMaPs – Principal Mask Proposals – vor, eine Methode zur Zerlegung von Bildern in semantisch bedeutsame Masken basierend auf ihrer Merkmalsrepräsentation. Dies ermöglicht es uns, die unüberwachte semantische Segmentierung durch Anpassung von Klassenprototypen an PriMaPs mit einem stochastischen Erwartungsmaximierungsalgorithmus, dem PriMaPs-EM (Expectation-Maximization), umzusetzen. Trotz seiner konzeptuellen Einfachheit erzielt PriMaPs-EM wettbewerbsfähige Ergebnisse bei verschiedenen vortrainierten Backbone-Modellen, darunter DINO und DINOv2, sowie bei unterschiedlichen Datensätzen wie Cityscapes, COCO-Stuff und Potsdam-3. Von besonderer Bedeutung ist, dass PriMaPs-EM die Ergebnisse erhöhen kann, wenn es orthogonal zu aktuellen state-of-the-art-Pipelines für die unüberwachte semantische Segmentierung angewendet wird. Der Quellcode ist unter https://github.com/visinf/primaps verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Boosting der unüberwachten semantischen Segmentierung durch Hauptmaskenvorschläge | Paper | HyperAI