PST900: RGB-열화상 캘리브레이션, 데이터셋 및 세그멘테이션 네트워크

본 연구에서는 학습 기반 기법을 활용한 의미 분할(semantic segmentation)을 위한 실용적인 보조 모달리티로 장파장 적외선(LWIR) 영상을 제안한다. 먼저, RGB-열화상 카메라 캘리브레이션 문제를 해결하기 위해 이동성이 뛰어나 사용이 간편한 수동적 캘리브레이션 타겟과 절차를 제안한다. 둘째, DARPA 지하 환경 챌린지(DARPA Subterranean Challenge)에서 얻은 네 가지 다른 클래스에 대해 픽셀 단위의 인간 레이블이 부여된 894개의 동기화되고 캘리브레이션된 RGB 및 열화상 이미지 쌍을 포함하는 PST900 데이터셋을 소개한다. 마지막으로, RGB와 열화상 영상을 효과적으로 통합하여 RGB 영상의 독립적 활용이 가능한 빠른 의미 분할을 위한 CNN 아키텍처를 제안한다. 제안한 방법을 최신 기술들과 비교하여, 제안한 방법이 본 연구에서 사용한 데이터셋에서 기존 기술들을 능가함을 보여준다.