17 天前

ShareCMP:极化感知的RGB-P语义分割

Zhuoyan Liu, Bo Wang, Lizhi Wang, Chenyu Mao, Ye Li
ShareCMP:极化感知的RGB-P语义分割
摘要

多模态语义分割技术发展迅速,但RGB-偏振(RGB-Polarization)模态仍鲜有深入研究。为深入探索该问题,我们构建了一个名为UPLight RGB-P的语义分割基准数据集,包含12种典型的水下语义类别。在本研究中,我们提出了一种名为ShareCMP的RGB-P语义分割框架,其采用共享双分支结构,相较于以往的双分支模型,参数量减少了约26%至33%。该框架包含一个偏振生成注意力(Polarization Generate Attention, PGA)模块,旨在为编码器生成具有更丰富偏振特性的偏振模态图像。此外,我们引入了类别偏振感知损失(Class Polarization-Aware Loss, CPALoss),以增强编码器对偏振模态信息的学习与理解,并优化PGA模块的性能。在总计三个RGB-P基准数据集上的大量实验表明,ShareCMP在UPLight(92.45% (+0.32))、ZJU(92.7% (+0.1))和MCubeS(50.99% (+1.51))数据集上均取得了当前最优的mIoU性能,且参数量更少。相关代码已开源,地址为:https://github.com/LEFTeyex/ShareCMP。