차원 인식형 인스턴스 세그멘테이션: 차이 지도를 활용한 방법

이전 대부분의 실외 이미지 인스턴스 세그멘테이션 연구는 색상 정보만을 활용해왔다. 본 연구에서는 스테레오 카메라를 활용한 센서 융합이라는 새로운 방향성을 탐색한다. 디스패리티에서 얻은 기하학적 정보는 동일하거나 다른 클래스의 겹치는 객체를 효과적으로 분리하는 데 기여한다. 또한, 기하학적 정보는 불가능한 3차원 형태를 가진 영역 제안(region proposals)에 대해 패널티를 주어 오류 탐지(false positive detections)를 억제한다. 마스크 회귀는 의사-라이더(LiDAR) 및 이미지 기반 표현을 사용한 2차원, 2.5차원, 3차원 ROI를 기반으로 수행되며, 이러한 마스크 예측은 마스크 점수 산정 과정을 통해 융합된다. 그러나 기존 공개 데이터셋은 짧은 기준선(baseline)과 초점 거리(focal length)를 갖춘 스테레오 시스템만을 사용하여 스테레오 카메라의 측정 범위에 제약이 있었다. 본 연구에서는 더 긴 기준선과 초점 거리, 그리고 고해상도를 갖춘 고품질 주행 스테레오(High-Quality Driving Stereo, HQDS) 데이터셋을 자체 수집 및 활용하였다. 이를 통해 기존 최고 수준의 성능을 달성하였다. 자세한 내용은 프로젝트 페이지를 참조하시기 바랍니다. 전체 논문은 아래에서 확인할 수 있습니다.