SkyScapes: Feinkörnige semantische Verständnis von Luftbildszenen

Die genaue Erfassung der komplexen städtischen Infrastruktur mit zentimetergenauer Genauigkeit ist für zahlreiche Anwendungen von entscheidender Bedeutung – von der autonomen Fahrt über Kartierung und Infrastrukturüberwachung bis hin zur städtischen Planung. Luftbilder liefern dabei wertvolle Informationen über große Gebiete in Echtzeit; dennoch existiert derzeit kein Datensatz, der die Komplexität luftbildbasierter Szenen in der für reale Anwendungen erforderlichen Feinheit abbildet. Um dieses Defizit zu beheben, stellen wir SkyScapes vor – einen Luftbild-Datensatz mit hochgenauen, fein granulierten Annotationen für pixelgenaue semantische Klassifizierung. SkyScapes bietet Annotationen für 31 semantische Kategorien, die von großen Strukturen wie Gebäuden, Straßen und Vegetation bis hin zu feinen Details wie 12 (Unter-)Kategorien von Fahrstreifenmarkierungen reichen. Wir definieren zwei zentrale Aufgaben auf diesem Datensatz: dichte semantische Segmentierung und multiklassenbasierte Vorhersage von Fahrstreifenmarkierungen. Wir führen umfangreiche Experimente durch, um aktuelle State-of-the-Art-Methoden auf SkyScapes zu evaluieren. Bestehende Ansätze zeigen Schwierigkeiten bei der Bewältigung der Vielzahl an Klassen, Objektgrößen, Skalen und feinen Details. Daher schlagen wir ein neuartiges Multi-Task-Modell vor, das semantische Kantenentdeckung integriert und besser auf die Merkmalsextraktion über eine breite Skalenpalette abgestimmt ist. Dieses Modell erreicht signifikante Verbesserungen gegenüber den Baselines sowohl in der Genauigkeit der Regionenkonturen als auch in der Detailgenauigkeit bei beiden Aufgaben.