범주 수준 6D 객체 자세 및 크기 추정을 위한 정규화된 객체 좌표 공간

본 논문의 목표는 RGB-D 이미지에서 미리 본 적 없는 객체 인스턴스의 6차원 자세와 크기를 추정하는 것입니다. "인스턴스 수준" 6차원 자세 추정 작업과 달리, 우리의 문제는 훈련 시나 테스트 시에 정확한 객체 CAD 모델이 제공되지 않는다고 가정합니다. 주어진 카테고리 내에서 다양한 미지의 객체 인스턴스를 처리하기 위해, 우리는 모든 가능한 객체 인스턴스에 대한 공유된 표준 표현인 정규화된 객체 좌표 공간(Normalized Object Coordinate Space, NOCS)을 도입합니다. 그런 다음, 이 공유된 객체 표현(NOCS)과 클래스 라벨, 인스턴스 마스크 등의 다른 객체 정보를 직접 추론하도록 지역 기반 신경망을 훈련시킵니다. 이러한 예측은 깊이 맵과 결합하여 혼잡한 환경에서 여러 객체의 측정 6차원 자세와 크기를 공동으로 추정할 수 있습니다. 우리 네트워크를 훈련시키기 위해, 대량의 완전히 주석화된 혼합 현실 데이터를 생성하는 새로운 컨텍스트 인식 기술을 제시합니다. 또한, 실제 데이터에서 모델의 성능을 더욱 개선하고 평가하기 위해 큰 환경 및 인스턴스 변동성을 가진 완전히 주석화된 실제 세계 데이터셋도 제공합니다. 광범위한 실험 결과는 제안된 방법이 실제 환경에서 미지의 객체 인스턴스의 자세와 크기를 견고하게 추정할 수 있으며, 표준 6차원 자세 추정 벤치마크에서도 최신 연구 성과를 달성함을 보여줍니다.