Cross-View-Regularisierung für domainspezifische panoptische Segmentierung

Die Panoptic-Segmentierung vereint semantische und instanzbasierte Segmentierung und hat in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen. Allerdings basieren die meisten bestehenden Forschungsarbeiten auf einem überwachten Lernansatz, während die unsupervisierte domainspezifische Adaptation der Panoptic-Segmentierung – eine entscheidende Voraussetzung für vielfältige Anwendungen und Aufgaben – weitgehend vernachlässigt wurde. Wir entwickeln ein domainspezifisch adaptives Panoptic-Segmentierungsnetzwerk, das sowohl die Inter-Stil-Konsistenz als auch die Inter-Aufgaben-Regularisierung nutzt, um eine optimale domainspezifische Anpassung zu erreichen. Die Inter-Stil-Konsistenz nutzt die geometrische Invarianz innerhalb desselben Bildes unter unterschiedlichen Stilen, um selbstüberwachende Signale zu generieren, die das Netzwerk anleiten, domainspezifisch invariante Merkmale zu lernen. Die Inter-Aufgaben-Regularisierung nutzt die komplementäre Natur von instanzbasierter und semantischer Segmentierung und setzt diese als Constraint ein, um eine verbesserte Merkmalsausrichtung zwischen Domänen zu ermöglichen. Umfangreiche Experimente an mehreren Aufgaben der domainspezifischen Panoptic-Segmentierung (z. B. synthetisch-zu-reell und reell-zu-reell) zeigen, dass das vorgeschlagene Netzwerk eine überlegene Segmentierungsgenauigkeit im Vergleich zu aktuellen State-of-the-Art-Methoden erreicht.