EPro-PnP: 단안 객체 자세 추정을 위한 일반화된 엔드투엔드 확률적 페르스펙티브-n-포인트

단일 RGB 이미지에서 3D 객체를 위치추정하는 것은 컴퓨터 비전 분야에서 오랫동안 연구되어온 문제이다. 최근에는 엔드투엔드 딥러닝 기반의 접근이 활발히 연구되고 있으며, 이는 PnP(Perspective-n-Point)를 미분 가능한 레이어로 해석함으로써, 자세 오차 손실의 기울기를 역전파함으로써 2D-3D 점 대응 관계의 일부를 학습할 수 있도록 한다. 그러나 모든 점 대응 관계를 처음부터 학습하는 것은 매우 도전적인 과제이며, 특히 자세 해가 모호한 경우, 전역 최적의 자세는 점들에 대해 이론적으로 미분 가능하지 않다. 본 논문에서는 일반적인 엔드투엔드 자세 추정을 위한 확률적 PnP 레이어인 EPro-PnP을 제안한다. EPro-PnP은 SE(3) 다양체 위에서 미분 가능한 확률 밀도를 갖는 자세의 분포를 출력한다. 2D-3D 좌표와 해당 가중치는 예측된 자세 분포와 목표 자세 분포 사이의 KL 발산을 최소화함으로써 학습되는 중간 변수로 간주된다. 이 기반 원리는 기존의 접근법을 일반화하며, 어텐션 메커니즘과 유사한 구조를 갖는다. EPro-PnP은 기존의 대응 관계 네트워크를 강화하여, LineMOD 6DoF 자세 추정 벤치마크에서 PnP 기반 방법과 작업 특화 최고 성능 모델 간의 성능 격차를 줄이는 데 기여한다. 또한, EPro-PnP은 네트워크 설계의 새로운 가능성을 탐색하는 데 도움을 주며, nuScenes 3D 객체 탐지 벤치마크에서 최고 성능을 달성하는 새로운 형태의 변형 가능한 대응 관계 네트워크를 제시함으로써 이를 입증한다. 본 논문의 코드는 https://github.com/tjiiv-cprg/EPro-PnP-v2 에서 공개되어 있다.