EPro-PnP: 단안 객체 자세 추정을 위한 일반화된 엔드 투 엔드 확률적 페르스펙티브-n-포인트

단일 RGB 이미지로부터 3D 객체를 PnP(Perspective-n-Points)를 통해 추정하는 것은 컴퓨터 비전 분야에서 오랫동안 해결되지 않은 과제이다. 최근에는 엔드투엔드 딥러닝 기반의 연구들이 PnP를 미분 가능한 레이어로 해석함으로써, 2D-3D 점 대응 관계를 객체 자세에 대한 기울기 역전파를 통해 부분적으로 학습할 수 있도록 제안하고 있다. 그러나 기존 방법들에서는 제약 없는 2D-3D 점 쌍 전체를 초기 상태에서 학습하는 것은 수렴하지 못하며, 이는 결정론적 자세 추정이 본질적으로 미분 불가능하기 때문이다. 본 논문에서는 일반적인 엔드투엔드 자세 추정을 위한 확률적 PnP 레이어인 EPro-PnP을 제안한다. EPro-PnP은 SE(3) 다양체 상의 자세 분포를 출력하며, 본질적으로 이산적인 Softmax를 연속 도메인으로 확장한다. 2D-3D 좌표와 해당 가중치는 예측된 자세 분포와 타깃 자세 분포 간의 KL 발산을 최소화함으로써 학습되는 중간 변수로 취급된다. 이 본질적인 원리는 기존의 접근법들을 통합하며, 어텐션 메커니즘과 유사한 구조를 갖는다. EPro-PnP는 선별된 기준선들에 비해 크게 우수하며, LineMOD 6DoF 자세 추정 및 nuScenes 3D 객체 탐지 벤치마크에서 PnP 기반 방법과 작업 특화 최고 성능 모델 간의 성능 격차를 크게 줄였다.