RePOSE: 딥 텍스처 렌더링을 통한 빠른 6D 객체 자세 보정

우리는 6차원 물체 자세 추정을 위한 빠른 반복 개선 방법인 RePOSE를 제안한다. 기존 방법들은 CNN에 확대된 입력 이미지와 렌더링된 RGB 이미지를 입력하여 개선된 자세의 업데이트를 직접 회귀하는 방식으로 개선을 수행한다. 그러나 CNN의 계산 비용이 크기 때문에 실행 속도가 느리며, 특히 다중 물체 자세 추정에서 이 문제가 더욱 두드러진다. 이러한 문제를 해결하기 위해 RePOSE는 학습 가능한 텍스처를 갖춘 3D 모델을 활용하여 이미지 렌더링을 통해 빠른 특징 추출을 수행한다. 이를 '딥 텍스처 렌더링(Deep Texture Rendering)'이라 부르며, 이는 얕은 다층 퍼셉트론을 사용하여 물체의 시점 불변 이미지 표현을 직접 회귀한다. 또한, 확장 가능한 레벤버그-마르카르트(LM) 최적화를 활용하여 입력 이미지와 렌더링된 이미지 표현 간의 특징-메트릭 오차를 최소화함으로써 자세를 빠르고 정확하게 개선한다. 이 과정에서는 이미지를 확대하지 않아도 된다. 이러한 이미지 표현은 확장 가능한 LM 최적화가 몇 번의 반복 내에 수렴하도록 훈련된다. 결과적으로 RePOSE는 92 FPS의 빠른 속도를 달성하며, 음영 LineMOD 데이터셋에서 기존 최고 성능 대비 4.1%의 절대적인 성능 향상으로 51.6%의 최신 기준 정확도를 달성하였다. 또한 YCB-Video 데이터셋에서도 매우 빠른 실행 속도를 유지하면서 유사한 성능을 보였다. 코드는 https://github.com/sh8/repose 에서 공개되어 있다.