MC-PanDA: Mask Confidence für panoptische Domänenanpassung

Domain-adaptives Panoptic-Segmentierung verspricht, das lange Schwanz-Problem bei der Verarbeitung von Randfällen im Bereich der natürlichen Szenenverarbeitung zu lösen. Frühere State-of-the-Art-Ansätze adressieren dieses Problem durch Kreuz-Aufgaben-Konsistenz, sorgfältige systemweite Optimierung sowie heuristische Verbesserung der Lehrer-Vorhersagen. Im Gegensatz dazu schlagen wir vor, die bemerkenswerte Fähigkeit von Masken-Transformern auszunutzen, ihre eigene Vorhersageunsicherheit zu schätzen. Unsere Methode vermeidet die Verstärkung von Rauschen, indem sie die fein granulare Zuverlässigkeit der Panoptic-Lehrervorhersagen nutzt. Insbesondere modulieren wir die Verlustfunktion anhand der maskenweiten Zuverlässigkeit und unterbinden die Rückpropagation in Pixeln, in denen der Lehrer unsicher oder der Schüler zu sicher ist. Experimentelle Bewertungen an etablierten Benchmarks zeigen einen erheblichen Beitrag der vorgeschlagenen Auswahltechniken. Wir berichten eine PQ von 47,4 bei der Übertragung von Synthia nach Cityscapes, was einer Verbesserung um 6,2 Prozentpunkte gegenüber dem Stand der Technik entspricht. Der Quellcode ist unter https://github.com/helen1c/MC-PanDA verfügbar.