12日前
強度およびスペクトル偏光情報を用いたガラスセグメンテーション
{Xin Yang, Xiaopeng Wei, Pieter Peers, Felix Heide, Seung-Hwan Baek, Jiaxi Yang, Wen Dong, Bo Dong, Haiyang Mei}

要約
透明および半透明材料は、RGBテクスチャが欠如しているため、既存のシーン理解およびセグメンテーションアルゴリズムにとって大きな課題を呈する。本研究では、ガラス材料における光と物質の相互作用が、観測される各波長の光に対して特有の強度・偏光情報(intensity-polarization cues)を提供することに着目する。本稿では、照明の偏光状態に関するいかなる仮定も行わず、単一の写真から得られる三色(RGB)強度および三色線形偏光情報を活用する、新しい学習ベースのガラスセグメンテーションネットワークを提案する。本研究で開発した新しいネットワークアーキテクチャは、グローバルガイド付きマルチスケール自己注意モジュール(global-guidance and multi-scale self-attention module)を用いて、三色カラー情報と偏光情報を動的に統合・重み付けし、グローバルなクロスドメインの文脈情報を活用することで、堅牢なセグメンテーションを実現する。本手法は、新たに構築された大規模なRGB-偏光データセット(RGBP-Glass)上で訓練および広範な検証が行われ、最先端のセグメンテーション手法と比較して顕著な性能向上を示した。