CenterSnap: 단일 샷 다중 객체 3D 형상 재구성 및 범주적 6D 자세 및 크기 추정

본 논문은 단일 뷰 RGB-D 관측에서 동시에 여러 객체의 3D 재구성, 6D 자세 및 크기 추정이라는 복잡한 작업을 연구합니다. 인스턴스 수준의 자세 추정과 달리, 우리는 추론 시 CAD 모델이 제공되지 않는 더 어려운 문제에 초점을 맞춥니다. 기존 접근 방식은 주로 이미지 내 각 객체 인스턴스를 먼저 위치추적하고 검출한 후 해당 객체의 3D 메시 또는 6D 자세를 회귀하는 복잡한 다단계 파이프라인을 따릅니다. 이러한 접근 방식들은 특히 가림 현상이 존재할 수 있는 복잡한 다중 객체 시나리오에서 높은 계산 비용과 낮은 성능으로 고생합니다. 따라서, 우리는 바운딩 박스 없이 객체의 3D 형태와 6D 자세 및 크기를 동시에 예측하는 간단한 단일 단계 접근 방식을 제시합니다. 특히, 우리의 방법은 객체 인스턴스를 공간 중심으로 취급하며, 각 중심은 객체의 완전한 형태와 그에 따른 6D 자세 및 크기를 나타냅니다. 이 픽셀별 표현을 통해 우리의 접근 방식은 여러 새로운 객체 인스턴스를 실시간(40 FPS)으로 재구성하고, 단일 순방향 전파 과정에서 그들의 6D 자세와 크기를 예측할 수 있습니다. 광범위한 실험을 통해, 우리는 우리의 접근 방식이 다중 객체 ShapeNet 데이터셋에서는 형태 완성 기법들과, NOCS 데이터셋에서는 범주적 6D 자세 및 크기 추정 기법들보다 각각 상당히 우수함을 입증하였습니다. 특히, 새로운 실제 세계 객체 인스턴스에 대한 6D 자세 mAP에서 절대적으로 12.6% 향상된 성능을 보였습니다.