ShareCMP: Polarization-Aware RGB-P Semantische Segmentierung

Die multimodale semantische Segmentierung entwickelt sich rasant, doch die Modalität RGB-Polarisation bleibt bisher untererforscht. Um dieses Problem zu untersuchen, stellen wir den UPLight RGB-P-Segmentierungsbenchmark mit 12 typischen unterwassersemantischen Klassen vor. In dieser Arbeit entwerfen wir ShareCMP, einen RGB-P-Segmentierungsansatz mit einer geteilten Dual-Branch-Architektur, der die Anzahl der Parameter im Vergleich zu früheren Dual-Branch-Modellen um etwa 26–33 % reduziert. Der Ansatz beinhaltet ein Polarisation-Generate-Attention (PGA)-Modul, das polarisationsreiche Bildinformationen für den Encoder generiert. Zudem führen wir die Class Polarization-Aware Loss (CPALoss) ein, um das Lernen und die Interpretation polarisationsspezifischer Informationen durch den Encoder zu verbessern und das PGA-Modul zu optimieren. In umfangreichen Experimenten an insgesamt drei RGB-P-Benchmarks erreicht unser ShareCMP state-of-the-art-Ergebnisse in mIoU mit weniger Parametern auf den Datensätzen UPLight (92,45 (+0,32) %), ZJU (92,7 (+0,1) %) und MCubeS (50,99 (+1,51) %), verglichen mit den vorherigen besten Methoden. Der Quellcode ist unter https://github.com/LEFTeyex/ShareCMP verfügbar.