ShareCMP: 偏光を意識したRGB-Pセマンティックセグメンテーション

マルチモーダル意味セグメンテーションは急速に発展しているが、RGB-偏光（RGB-Polarization）モダリティは依然として十分に探求されていない。この課題に取り組むため、我々は12の典型的な水中意味クラスを含むUPLight RGB-Pセグメンテーションベンチマークを構築した。本研究では、共有双枝構造（shared dual-branch architecture）を採用したRGB-P意味セグメンテーションフレームワーク「ShareCMP」を提案する。この構造により、従来の双枝モデルと比較してパラメータ数を約26～33％削減できる。また、エンコーダに richer な偏光特性を持つ偏光モダリティ画像を生成するための「偏光生成注意機構（Polarization Generate Attention: PGA）モジュール」を設計した。さらに、クラス偏光意識損失（Class Polarization-Aware Loss: CPALoss）を導入し、エンコーダが偏光モダリティ情報をより効果的に学習・理解できるようにするとともに、PGAモジュールの最適化を実現した。3つのRGB-Pベンチマークを対象とした広範な実験の結果、ShareCMPはUPLight（92.45%（+0.32%））、ZJU（92.7%（+0.1%））、MCubeS（50.99%（+1.51%））の各データセットにおいて、パラメータ数が少ないながらも、既存の最良手法を上回る最先端のmIoU性能を達成した。コードは https://github.com/LEFTeyex/ShareCMP にて公開されている。