3달 전

장면 이해를 위한 방향: 의미 인지 표현을 통한 비지도 단안 깊이 추정

{ Yu-Chiang Frank Wang, Yen-Cheng Liu, Alexander H. Liu, Po-Yi Chen}
장면 이해를 위한 방향: 의미 인지 표현을 통한 비지도 단안 깊이 추정
초록

단안 깊이 추정은 2차원 이미지에서 3차원 공간의 기하학적 특성을 추출하는 것을 목표로 하는 장면 이해 분야에서 도전적인 과제이다. RGB-깊이 이미지 쌍의 부족으로 인해, 비지도 학습 방법은 스테레오 쌍과 같은 대체적인 감독 신호를 활용하여 깊이 정보를 추출하려고 한다. 그러나 기존 대부분의 연구들은 학습 과정에서 픽셀 단위의 목적 함수를 고려함으로써 객체의 기하학적 구조를 충분히 모델링하지 못하는 한계를 지닌다. 본 논문에서는 분할을 통한 의미적 이해를 활용하여 이러한 한계를 극복하기 위해 SceneNet을 제안한다. 더불어, 제안하는 모델은 스테레오 쌍 간의 의미 일관성을 강제함으로써 영역 인지 기반의 깊이 추정이 가능하다. 실험을 통해 제안 모델의 효과성과 견고성을 정성적 및 정량적으로 검증하였으며, 최신 기술 대비 유리한 성능을 나타내었다.