Boosting der unüberwachten semantischen Segmentierung durch Hauptmaskenvorschläge

Die unüberwachte semantische Segmentierung strebt danach, Bilder automatisch in semantisch bedeutsame Bereiche zu unterteilen, indem sie globale semantische Kategorien innerhalb eines Bildkorpus identifiziert, ohne dabei irgende Form von Annotation zu verwenden. Aufbauend auf jüngsten Fortschritten im Bereich des selbstüberwachten Repräsentationslernens konzentrieren wir uns darauf, wie diese großen vortrainierten Modelle für die nachgelagerte Aufgabe der unüberwachten Segmentierung genutzt werden können. Wir stellen PriMaPs – Principal Mask Proposals – vor, eine Methode zur Zerlegung von Bildern in semantisch bedeutsame Masken basierend auf ihrer Merkmalsrepräsentation. Dies ermöglicht es uns, die unüberwachte semantische Segmentierung durch Anpassung von Klassenprototypen an PriMaPs mit einem stochastischen Erwartungsmaximierungsalgorithmus, dem PriMaPs-EM (Expectation-Maximization), umzusetzen. Trotz seiner konzeptuellen Einfachheit erzielt PriMaPs-EM wettbewerbsfähige Ergebnisse bei verschiedenen vortrainierten Backbone-Modellen, darunter DINO und DINOv2, sowie bei unterschiedlichen Datensätzen wie Cityscapes, COCO-Stuff und Potsdam-3. Von besonderer Bedeutung ist, dass PriMaPs-EM die Ergebnisse erhöhen kann, wenn es orthogonal zu aktuellen state-of-the-art-Pipelines für die unüberwachte semantische Segmentierung angewendet wird. Der Quellcode ist unter https://github.com/visinf/primaps verfügbar.