BundleTrack: 새로운 객체의 6D 자세 추적을 위한 인스턴스 또는 카테고리 레벨 3D 모델 없이

비디오 시퀀스에서 객체의 6D 자세를 추적하는 것은 로봇 조작에 중요합니다. 그러나 대부분의 이전 연구는 대상 객체의 CAD 모델이 최소한 카테고리 수준에서는 오프라인 학습이나 온라인 템플릿 매칭을 위해 사용 가능하다는 가정을 합니다. 본 연구에서는 이러한 3D 모델에 의존하지 않는 새로운 객체의 6D 자세 추적을 위한 일반적인 프레임워크인 BundleTrack을 제안합니다. 이 프레임워크는 최근 딥러닝 분야에서의 세그멘테이션과 강건한 특성 추출 기술, 그리고 메모리 증강 포즈 그래프 최적화를 활용하여 공간-시간 일관성을 유지합니다. 이를 통해 상당한 가림 현상과 객체 움직임 등 다양한 도전적인 상황에서도 장기적으로 드리프트가 적은 추적이 가능해집니다. 두 개의 공개 벤치마크를 이용한 포괄적인 실험 결과, 제안된 접근 방식이 카테고리 수준 6D 추적 또는 동적 SLAM 방법론보다 크게 우수함을 보여주었습니다. 또한 객체 인스턴스 CAD 모델에 의존하는 최신 방법론들과 비교했을 때, 정보 요구사항이 줄었음에도 불구하고 유사한 성능을 달성하였습니다. CUDA에서 효율적인 구현으로 전체 프레임워크에 대해 실시간 성능 10Hz를 제공합니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/wenbowen123/BundleTrack