EDAPS: Enhanced Domain-Adaptive Panoptic Segmentation

Mit dem Aufstieg autonomer Industrien stellt die Domänenanpassung des visuellen Wahrnehmungssystems aufgrund der versprochenen Kosteneinsparungen eine wichtige Forschungsrichtung dar. Viele vorangegangene Arbeiten widmeten sich der domänenadaptiven semantischen Segmentierung im Kontext von synthetischen zu realen Daten. Obwohl die panoptische Segmentierung ein entscheidender Ausgabekanal des Wahrnehmungssystems darstellt, wurde sie durch die Domänenanpassungsgemeinschaft weitgehend vernachlässigt. Daher greifen wir bekannte, leistungsfähige Strategien aus anderen Bereichen erneut auf, adaptieren sie an die panoptische Segmentierung und zeigen, dass sie effektiv zur Verbesserung der panoptischen Domänenanpassung beitragen können. Zudem untersuchen wir die Architekturgestaltung für panoptische Netzwerke und schlagen eine neuartige Architektur (EDAPS) vor, die explizit für die domänenadaptive panoptische Segmentierung konzipiert ist. Sie nutzt einen gemeinsamen, domänenrobusten Transformer-Encoder, um die gemeinsame Anpassung von semantischen und instanzspezifischen Merkmalen zu fördern, kombiniert jedoch task-spezifische Decoder, die den spezifischen Anforderungen sowohl der domänenadaptiven semantischen als auch der instanzspezifischen Segmentierung gerecht werden. Dadurch wird die Leistungsunterschiede bei anspruchsvollen panoptischen Benchmarks erheblich verringert. EDAPS verbessert die Stand der Technik für unüberwachte panoptische Segmentierung (UDA) signifikant um 20 % auf dem SYNTHIA-zu-Cityscapes-Datensatz und sogar um 72 % auf dem anspruchsvolleren SYNTHIA-zu-Mapillary Vistas-Datensatz. Die Implementierung ist unter https://github.com/susaha/edaps verfügbar.