Interaktives Lernen von intrinsischen und extrinsischen Eigenschaften für die All-Day-Semantische Segmentierung

Die Szenenerscheinung ändert sich im Laufe des Tages stark. Bestehende Methoden zur semantischen Segmentierung konzentrieren sich hauptsächlich auf gut beleuchtete Tageszeiten und sind nicht ausreichend darauf ausgelegt, solch erhebliche Erscheinungsänderungen zu bewältigen. Eine naive Anwendung von Domain-Adaptation löst dieses Problem nicht, da sie in der Regel eine feste Abbildung zwischen Quell- und Zielbereich lernt und daher eine begrenzte Generalisierbarkeit für alltägliche Szenarien (d. h. von Dämmerung bis in die Nacht) aufweist.In diesem Paper greifen wir diesen Herausforderung im Gegensatz zu bestehenden Ansätzen von der Perspektive der Bildformulierung selbst an, wobei die Bilderscheinung sowohl durch intrinsische Eigenschaften (z. B. semantische Kategorie, Struktur) als auch durch extrinsische Eigenschaften (z. B. Beleuchtung) bestimmt wird. Dazu schlagen wir eine neuartige interaktive Lernstrategie für intrinsische und extrinsische Darstellungen vor. Der zentrale Ansatz besteht darin, während des Lernprozesses eine Wechselwirkung zwischen intrinsischen und extrinsischen Darstellungen unter räumlicher Guidance zu ermöglichen. Auf diese Weise wird die intrinsische Darstellung stabiler, während die extrinsische Darstellung besser in der Lage ist, Veränderungen zu erfassen. Dadurch entsteht eine verfeinerte Bildrepräsentation, die robuster für die Generierung pixelgenauer Vorhersagen unter alltäglichen Bedingungen ist. Um dies zu erreichen, stellen wir ein end-to-end arbeitendes All-in-One-Segmentierungsnetzwerk (AO-SegNet) vor.Umfangreiche Experimente werden auf drei realen Datensätzen (Mapillary, BDD100K und ACDC) sowie auf unserem vorgeschlagenen synthetischen All-day-CityScapes-Datensatz durchgeführt. Das vorgeschlagene AO-SegNet erreicht gegenüber den aktuellen State-of-the-Art-Methoden erhebliche Leistungsverbesserungen unter Verwendung verschiedener CNN- und ViT-Backbones auf allen Datensätzen.