RGB-D 이미지에서 객체 검출 및 분할을 위한 풍부한 특징 학습

본 논문에서는 RGB-D 이미지에 대한 객체 검출 문제를 의미적으로 풍부한 이미지 및 깊이 특성을 사용하여 연구합니다. 우리는 지상 위 높이와 중력과의 각도를 수평 불일치 외에도 각 픽셀에 대해 인코딩하는 새로운 지오센트릭 임베딩(geocentric embedding)을 제안합니다. 이 지오센트릭 임베딩이 합성곱 신경망에서 특성 표현을 학습하는 데 원시 깊이 이미지를 사용하는 것보다 더 효과적임을 보여줍니다. 우리의 최종 객체 검출 시스템은 평균 정밀도 37.3%를 달성하며, 기존 방법 대비 상대적으로 56%의 개선율을 보입니다. 그 다음으로, 객체 검출기에서 발견된 객체 인스턴스에 속하는 픽셀들을 라벨링하는 인스턴스 분할 작업에 초점을 맞춥니다. 이 작업을 위해, 모양과 지오센트릭 포즈 특성을 쿼리하는 유니어리(unary) 및 바이너리(binary) 테스트 집합을 사용하여 검출 창 내의 픽셀들을 전경 또는 배경으로 분류하는 결정 트리 접근법을 제안합니다. 마지막으로, 우리는 객체 검출기의 출력을 기존 슈퍼픽셀 분류 프레임워크에 활용하여 의미적인 장면 분할을 수행하고, 우리가 연구한 객체 카테고리에서 현재 최신 기술 대비 상대적으로 24%의 개선율을 달성하였습니다. 우리는 본 논문에서 제시된 이러한 발전들이 로봇공학 등과 같은 분야에서 지각(perception)의 활용을 촉진할 것으로 믿습니다.