백프로파게이션을 통한 PnP 최적화 역전파를 통한 엔드투엔드 학습 가능한 기하학적 비전

딥 네트워크는 방대한 양의 데이터로부터 패턴을 학습하는 데 뛰어난 성능을 발휘한다. 반면, 많은 기하학적 비전 작업은 최적화 문제로 정의된다. 딥 러닝과 기하학적 비전을 원활하게 통합하기 위해서는 학습과 기하학적 최적화를 엔드투엔드(end-to-end) 방식으로 수행하는 것이 핵심이다. 이러한 목적을 달성하기 위해, 본 연구에서는 페르스펙티브-n-포인트(Perspective-n-Points, PnP) 솔버를 통해 역전파(Backpropagation)를 수행하여 신경망의 파라미터 업데이트를 안내하는 새로운 네트워크 모듈인 BPnP를 제안한다. 은닉 미분(implicit differentiation) 기반으로, '자기 포함형(self-contained)' PnP 솔버의 기울기(gradient)가 최적화 블록이 미분 가능한 함수인 것처럼 정확하고 효율적으로 도출될 수 있음을 보여준다. 제안한 BPnP는 학습 데이터셋으로부터 카메라 내부 파라미터, 카메라 외부 파라미터(자세) 및 3D 구조를 동시에 학습할 수 있는 딥 모델에 통합하여 검증하였다. 또한, 특징 기반 히트맵 손실(heatmap loss)과 2D-3D 재투영 오차(reprojection error)를 결합함으로써 더 높은 정확도를 달성하는 엔드투엔드 훈련 가능한 객체 자세 추정 파이프라인을 개발하였다. 제안한 방법은 다른 최적화 문제로도 확장 가능하므로, 본 연구는 체계적인 방식으로 학습 가능한 기하학적 비전을 수행하는 길을 여는 데 기여한다. BPnP의 PyTorch 기반 구현체는 http://github.com/BoChenYS/BPnP 에서 공개되어 있다.