Kausale unüberwachte semantische Segmentierung

Die unüberwachte semantische Segmentierung strebt danach, hochwertige semantische Gruppierungen ohne menschliche Annotationen zu erreichen. Mit der Einführung des selbstüberwachten Vortrainings nutzen verschiedene Frameworks die vortrainierten Merkmale, um Vorhersageköpfe für die unüberwachte dichte Vorhersage zu trainieren. Ein wesentlicher Herausforderung in diesem unüberwachten Setup besteht jedoch darin, das geeignete Clusterniveau für die Segmentierung von Konzepten zu bestimmen. Um diese Herausforderung anzugehen, schlagen wir ein neues Framework vor: CAUSALE UNÜBERWACHT SEMANTISCHE SEGMENTIERUNG (CAUSE), das Erkenntnisse aus der kausalen Inferenz nutzt. Insbesondere verbinden wir einen interventionsorientierten Ansatz (d.h., Frontdoor-Anpassung) zur Definition geeigneter zweistufiger Aufgaben für die unüberwachte Vorhersage. Der erste Schritt besteht darin, ein Konzept-Clusterbuch als Mediator zu konstruieren, das mögliche Konzeptprototypen auf verschiedenen Granularitätsstufen in diskreter Form darstellt. Anschließend etabliert der Mediator eine explizite Verbindung zum nachfolgenden konzeptbasierten selbstüberwachten Lernen für die Pixelgruppierung. Durch umfangreiche Experimente und Analysen auf verschiedenen Datensätzen bestätigen wir die Effektivität von CAUSE und erzielen den aktuellen Stand der Technik in der unüberwachten semantischen Segmentierung.