PVN3D: 6DoF 포즈 추정을 위한 깊은 점 단위 3D 키포인트 투표 네트워크

본 연구에서는 단일 RGBD 이미지에서 강건한 6자유도 물체 자세 추정을 위한 새로운 데이터 기반 방법을 제시합니다. 이전 방법들이 자세 매개변수를 직접 회귀하는 것과 달리, 우리는 키포인트 기반 접근법으로 이 어려운 과제를 해결합니다. 구체적으로, 깊은 호프 투표 네트워크(deep Hough voting network)를 제안하여 물체의 3D 키포인트를 감지하고, 그 다음 최소제곱 피팅 방식으로 6D 자세 매개변수를 추정합니다. 우리의 방법은 RGB 기반 6자유도 추정에서 성공적으로 작동하는 2D-키포인트 접근법의 자연스러운 확장입니다. 이는 라디드 물체의 기하학적 제약 조건을 추가적인 깊이 정보와 함께 완전히 활용할 수 있게 하며, 네트워크가 학습하고 최적화하기 쉽습니다.다양한 실험을 수행하여 6D 자세 추정 과제에서 3D-키포인트 감지의 효과성을 입증하였습니다. 실험 결과는 또한 우리의 방법이 여러 벤치마크에서 최신 방법들보다 크게 우월함을 보여줍니다. 코드와 동영상은 https://github.com/ethnhe/PVN3D.git 에서 제공됩니다.