Beleuchtungsbewusste Multi-Task GANs für die Vordergrundsegmentierung

Die Segmentierung von Vorder- und Hintergrund ist über die Jahre hinweg ein aktives Forschungsfeld gewesen. Konventionelle Modelle liefern jedoch ungenaue Ergebnisse, wenn sie herausfordernden Beleuchtungsbedingungen in Videos gegenüberstehen. In diesem Paper präsentieren wir ein robusteres Modell, das auch in äußerst dunklen oder hellen Szenen sowie bei kontinuierlich variierender Beleuchtung innerhalb einer Videosequenz präzise die Vordergrundobjekte extrahiert. Dies wird durch ein dreifach multi-task-generatives adversariales Netzwerk (TMT-GAN) erreicht, das die semantische Beziehung zwischen dunklen und hellen Bildern effektiv modelliert und die binäre Segmentierung end-to-end durchführt. Unser Beitrag ist zweifach: Erstens zeigen wir, dass die gemeinsame Optimierung der GAN-Verlustfunktion und der Segmentierungsverlustfunktion es dem Netzwerk ermöglicht, beide Aufgaben gleichzeitig zu lernen, wobei sich die Aufgaben gegenseitig unterstützen. Zweitens führt die Fusion von Merkmalen aus Bildern mit unterschiedlicher Beleuchtung in den Segmentierungsast erheblich zur Leistungssteigerung des Netzwerks. Vergleichende Evaluierungen auf besonders anspruchsvollen realen und synthetischen Benchmark-Datensätzen (ESI und SABS) belegen die Robustheit des TMT-GAN und seine Überlegenheit gegenüber aktuellen State-of-the-Art-Ansätzen.