12 天前

基于强度与光谱偏振线索的玻璃分割

{Xin Yang, Xiaopeng Wei, Pieter Peers, Felix Heide, Seung-Hwan Baek, Jiaxi Yang, Wen Dong, Bo Dong, Haiyang Mei}
基于强度与光谱偏振线索的玻璃分割
摘要

透明与半透明材料由于缺乏RGB纹理,给现有的场景理解与分割算法带来了重大挑战,阻碍了有意义特征的提取。本文中,我们利用玻璃材料对光-物质相互作用的独特特性,为每一波长的光提供了独特的强度-偏振线索。为此,我们提出了一种新型基于学习的玻璃分割网络,该网络仅需一张未经任何照明偏振状态假设的单张照片,即可同时利用三色(RGB)强度信息与三色线性偏振线索。所提出的网络架构通过一种新颖的全局引导与多尺度自注意力模块,动态融合并加权三色颜色与偏振线索,并引入全局跨域上下文信息,以实现鲁棒的分割效果。我们在一个全新的大规模RGB-偏振数据集(RGBP-Glass)上对方法进行了训练与广泛验证,实验结果表明,我们的方法在性能上显著优于当前最先进的分割技术。

基于强度与光谱偏振线索的玻璃分割 | 最新论文 | HyperAI超神经