P3Depth: 조각별 평면성 사전을 활용한 단일 이미지 깊이 추정

단안 깊이 추정은 장면 이해 및 후속 작업에 있어 핵심적인 역할을 한다. 본 연구에서는 학습 시에만 진짜 깊이(ground-truth depth)가 제공되는 지도 학습 설정에 초점을 맞춘다. 실제 3차원 장면의 높은 규칙성에 대한 지식을 바탕으로, 동평면(polygonal) 픽셀들로부터의 정보를 선택적으로 활용하여 예측된 깊이를 개선하는 방법을 제안한다. 특히, 각 픽셀에 대해 그와 동일한 3차원 평면 표면을 공유하는 시드(기준) 픽셀이 존재한다는 조건을 제시하는 조각별 평면성 사전(‘piecewise planarity prior’)을 도입한다. 이 사전을 바탕으로, 두 개의 출력 헤드를 갖는 네트워크를 설계하였다. 첫 번째 헤드는 픽셀 수준의 평면 계수를 출력하고, 두 번째 헤드는 시드 픽셀의 위치를 식별하는 밀도 높은 오프셋 벡터 필드를 출력한다. 이후 시드 픽셀의 평면 계수를 활용하여 각 위치의 깊이를 예측한다. 이 예측 결과는, 정밀한 국소 평면성에서의 편차를 고려하기 위해 학습된 신뢰도를 통해 초기 예측 결과와 적응적으로 융합된다. 제안된 모듈들의 미분 가능성 덕분에 전체 아키텍처는 엔드 투 엔드(end-to-end)로 학습되며, 특히 오클루전 경계에서 선명한 에지가 유지되는 규칙적인 깊이 맵을 예측하도록 학습된다. 제안한 방법의 광범위한 평가 결과, NYU Depth-v2 및 KITTI의 Garg 분할에서 기존 방법들을 모두 능가하며, 단안 깊이 추정 분야에서 새로운 최고 성능(state-of-the-art)을 달성하였다. 제안된 방법은 입력 장면에 대해 타당한 3차원 재구성 결과를 제공하는 깊이 맵을 생성한다. 코드는 다음 링크에서 공개되어 있다: https://github.com/SysCV/P3Depth