Command Palette
Search for a command to run...
{Xin Yang Xiaopeng Wei Pieter Peers Felix Heide Seung-Hwan Baek Jiaxi Yang Wen Dong Bo Dong Haiyang Mei}

要約
透明および半透明材料は、RGBテクスチャが欠如しているため、既存のシーン理解およびセグメンテーションアルゴリズムにとって大きな課題を呈する。本研究では、ガラス材料における光と物質の相互作用が、観測される各波長の光に対して特有の強度・偏光情報(intensity-polarization cues)を提供することに着目する。本稿では、照明の偏光状態に関するいかなる仮定も行わず、単一の写真から得られる三色(RGB)強度および三色線形偏光情報を活用する、新しい学習ベースのガラスセグメンテーションネットワークを提案する。本研究で開発した新しいネットワークアーキテクチャは、グローバルガイド付きマルチスケール自己注意モジュール(global-guidance and multi-scale self-attention module)を用いて、三色カラー情報と偏光情報を動的に統合・重み付けし、グローバルなクロスドメインの文脈情報を活用することで、堅牢なセグメンテーションを実現する。本手法は、新たに構築された大規模なRGB-偏光データセット(RGBP-Glass)上で訓練および広範な検証が行われ、最先端のセグメンテーション手法と比較して顕著な性能向上を示した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| camouflaged-object-segmentation-on-pcod-1200 | PGSNet | S-Measure: 0.916 |
| semantic-segmentation-on-kitti-360 | PGSNet (RGB-D-LiDAR) | mIoU: 48.51 |