se(3)-TrackNet: 합성 도메인에서 이미지 잔차를 보정함으로써 데이터 기반의 6D 자세 추적

비디오 시퀀스에서 물체의 6차원(6D) 자세를 추적하는 것은 로봇 조작에 있어 매우 중요한 과제이다. 그러나 이 작업은 여러 도전 과제를 수반한다: (i) 로봇 조작 과정에서 물체가 상당한 부분을 가리키는 오버랩(occlusion)이 발생하며, (ii) 6D 자세에 대한 데이터와 레이블을 수집하는 것이 어렵고 번거로워 기계학습 기반의 해결책을 복잡하게 만든다, 그리고 (iii) 장기 추적 과정에서 오차가 누적되며 자주 재초기화를 필요로 한다. 본 연구는 장기적인 6D 자세 추적을 위한 데이터 기반 최적화 방식을 제안한다. 이 방법은 현재의 RGB-D 관측값과 이전 최적 추정치 및 물체 모델에 기반한 합성 이미지를 조건으로 하여, 최적의 상대 자세를 식별하는 것을 목표로 한다. 본 연구의 핵심 기여는 도메인 변이를 줄이는 데 기여할 수 있도록 특징 인코딩을 적절히 분리하는 새로운 신경망 아키텍처와, 리 대수(Lie Algebra)를 통한 효과적인 3D 자세 표현 방식이다. 이러한 기법 덕분에, 합성 데이터만으로 학습된 네트워크도 실제 이미지 상에서 효과적으로 작동할 수 있다. 기존 벤치마크와 로봇 조작과 관련된 상당한 오버랩을 포함한 새로운 데이터셋을 대상으로 수행된 종합적인 실험 결과, 제안된 방법은 실재 이미지로 학습된 다른 대안들에 비해 일관되게 우수한 추정 성능을 보이며, 계산 효율성 면에서도 가장 뛰어나며, 추적 주파수는 90.9Hz에 달한다.