초록
세분화(segmentation)는 자율 주행차, 보조 항법 등 안전이 중요한 응용 분야에서 실외 환경 인식에 있어 매우 유망한 기술이다. 그러나 기존의 세분화 기법은 주로 RGB 이미지에 기반하고 있어, 복잡한 실외 환경에서의 신뢰도가 제한된다. 이는 RGB 이미지가 제약 없는 환경을 완전히 인식하기 위해 필요한 정보 차원을 충분히 제공하지 못하기 때문이다. 본 연구에서는 예상치 못한 장애물 탐지 시나리오를 사전 탐구하여, 다중 모달 융합의 필요성을 입증하였다. 이에 따라 본 논문에서는 다양한 광학 센서로부터 유입되는 보완적 정보를 효과적으로 활용하기 위한 효율적인 주의 기반 융합 네트워크인 EAFNet를 제안한다. 구체적으로, 다양한 재료를 강건하게 표현할 수 있는 광학적 특성을 고려하여 편광 감지(polarization sensing)를 도입하여 보조 정보를 확보하였다. 단일 촬영 방식의 편광 센서를 활용하여, 총 394개의 픽셀 정렬된 RGB-편광 이미지로 구성된 최초의 RGB-P 데이터셋을 구축하였다. 광범위한 실험을 통해 EAFNet가 RGB와 편광 정보를 효과적으로 융합함을 입증하였으며, 다른 센서 조합 시나리오에도 유연하게 적용 가능함을 보였다.