초록
본 논문에서는 쌍으로 구성된 RGB 이미지와 열화상 이미지를 활용한 새로운 유리 분할 방법을 제안합니다. 가시광선과 열 에너지의 유리를 통한 전달 특성 사이에 큰 차이가 있기 때문에, 대부분의 유리는 가시광선에는 투명하지만 열 에너지에는 불투명합니다. 이러한 특성을 이용하면, RGB 이미지 하나만 사용하는 것보다 RGB 이미지와 열화상 이미지를 함께 사용하여 장면에서 유리 영역을 더 명확히 구분할 수 있습니다. 이를 효과적으로 활용하기 위해, 우리는 주의 기반의 새로운 다중 모드 융합 모듈을 도입하여 RGB-열화상 이미지 쌍을 결합하는 신경망 아키텍처를 제안하며, CNN과 트랜스포머를 각각 로컬 특징과 비로컬 의존성을 추출하도록 통합합니다. 또한, 5551개의 지상 진실 분할 주석이 포함된 새로운 RGB-열화상 이미지 쌍 데이터셋을 수집하였습니다. 정성적 및 정량적 평가는 제안된 접근 방식이 유리 분할을 위해 RGB와 열화상 데이터를 융합하는 데 있어 효과적임을 입증합니다. 우리의 코드와 데이터는 https://github.com/Dong-Huo/RGB-T-Glass-Segmentation에서 확인 가능합니다.