Drei Ansätze zur Verbesserung der semantischen Segmentierung mittels selbstsupervisierter Tiefenschätzung

Die Schulung tiefer Netzwerke für die semantische Segmentierung erfordert große Mengen an gelabelten Trainingsdaten, was in der Praxis eine erhebliche Herausforderung darstellt, da die Erstellung von Segmentierungs-Masken ein sehr arbeitsintensiver Prozess ist. Um dieses Problem anzugehen, präsentieren wir einen Rahmen für semi-supervised semantische Segmentierung, der durch selbstüberwachte monokulare Tiefenschätzung aus unlabeled Bildsequenzen verbessert wird. Insbesondere leisten wir drei zentrale Beiträge: (1) Wir transferieren Wissen aus Merkmalen, die während der selbstüberwachten Tiefenschätzung gelernt wurden, in die semantische Segmentierung; (2) wir implementieren eine starke Datenaugmentation durch das Mischen von Bildern und Labels unter Nutzung der geometrischen Struktur der Szene; (3) wir nutzen die Vielfalt der Tiefenmerkmale sowie die Schwierigkeitsgrad der Tiefenschätzung im Rahmen eines Student-Teacher-Modells, um die aussagekräftigsten Proben auszuwählen, die für die semantische Segmentierung annotiert werden sollen. Wir validieren das vorgeschlagene Modell am Cityscapes-Datensatz, wobei alle drei Module signifikante Leistungssteigerungen zeigen, und erreichen Ergebnisse auf State-of-the-Art-Niveau für semi-supervised semantische Segmentierung. Die Implementierung ist unter https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth verfügbar.