SO-Pose: 직접 6D 자세 추정을 위한 자기 가림의 활용

혼잡한 환경에서 단일 RGB 이미지로부터 객체의 6자유도(6DoF) 자세(즉, 3차원 회전 및 평행이동)를 직접 회귀하는 것은 도전적인 문제이다. 최근 엔드 투 엔드(End-to-end) 방법들은 높은 효율성으로 유망한 성과를 보여주고 있으나, 정밀한 PnP/RANSAC 기반 접근법과 비교했을 때 자세 정확도 측면에서는 여전히 열등하다. 본 연구에서는 자가 가림(self-occlusion)에 대한 새로운 추론 방식을 도입함으로써 이 한계를 극복하고, 3차원 객체에 대한 이중 레이어 표현을 구축함으로써 엔드 투 엔드 6DoF 자세 추정의 정확도를 크게 향상시킨다. 제안하는 프레임워크인 SO-Pose는 단일 RGB 이미지를 입력으로 받아 공유 인코더와 두 개의 별도 디코더를 활용하여 2D-3D 대응 관계와 자가 가림 정보를 각각 생성한다. 이후 두 출력을 융합하여 직접적으로 6DoF 자세 파라미터를 회귀한다. 대응 관계, 자가 가림 정보, 6DoF 자세 간의 레이어 간 일관성(Cross-layer consistency)을 도입함으로써 정확도와 견고성을 추가로 향상시킬 수 있으며, 다양한 도전적인 데이터셋에서 기존의 모든 최첨단 기법을 능가하거나 근접하는 성능을 달성한다.