Glassegmentierung mithilfe von Intensitäts- und spektralpolarisationstypischen Merkmalen

Transparente und halbtransparente Materialien stellen aufgrund ihres Fehlens an RGB-Textur erhebliche Herausforderungen für bestehende Algorithmen zur Szenenverstehens und Segmentierung dar, da dies die Extraktion sinnvoller Merkmale erschwert. In dieser Arbeit nutzen wir die Tatsache, dass die Licht-Materie-Wechselwirkungen an Glasmaterialien für jedes beobachtete Lichtwellenlängenband einzigartige Intensitäts-Polarisationsmerkmale liefern. Wir präsentieren ein neuartiges, lernbasiertes Segmentierungsnetzwerk für Glas, das sowohl trichromatische (RGB) Intensitäten als auch trichromatische lineare Polarisationseigenschaften aus einer einzigen Aufnahme nutzt, ohne Annahmen über den Polarisationzustand der Beleuchtung zu treffen. Unsere neuartige Netzarchitektur fusions- und gewichtete dynamisch sowohl die trichromatischen Farb- als auch Polarisationseigenschaften mithilfe eines innovativen globalen Führungssystems und eines mehrskaligen Selbst-Attention-Moduls und nutzt globale, über-domänen-übergreifende Kontextinformationen, um eine robuste Segmentierung zu erreichen. Wir trainieren und validieren unsere Segmentierungsmethode umfassend auf einem neuen, großskaligen RGB-Polarisations-Datensatz (RGBP-Glass) und zeigen, dass unsere Methode state-of-the-art-Segmentieransätze signifikant übertrifft.