강도 및 스펙트럴 편광 신호를 이용한 글라스 세그멘테이션

투명 및 반투명 재료는 RGB 텍스처가 부족하여 기존의 장면 이해 및 세분화 알고리즘에 큰 도전을 제기한다. 본 연구에서는 유리 재료에서의 빛-물질 상호작용이 각 관측 파장의 빛에 대해 고유한 강도-편광 특징을 제공함을 활용한다. 우리는 단일 사진에서 촬영된 이미지를 기반으로 하되, 조명의 편광 상태에 대한 어떠한 가정도 하지 않고, 삼색(RGB) 강도와 삼색 선형 편광 특징을 동시에 활용하는 새로운 학습 기반 유리 세분화 네트워크를 제안한다. 제안하는 네트워크 아키텍처는 새로운 글로벌 가이던스 및 다중 스케일 자기 주의(attention) 모듈을 사용하여 삼색 색상 정보와 편광 특징을 동적으로 융합하고 가중치를 조절하며, 글로벌 크로스 도메인 맥락 정보를 활용하여 강건한 세분화 성능을 달성한다. 우리는 새로운 대규모 RGB-편광 데이터셋(RGBP-Glass)을 기반으로 본 방법을 학습 및 광범위하게 검증하였으며, 기존 최첨단 세분화 기법들에 비해 유의미한 성능 향상을 입증하였다.