시각적 외관과 기하학을 융합한 다중 모달 6자유도 객체 추적

고급 로봇 조작의 많은 응용 분야에서 객체 자세의 6개 자유도 (6DoF) 추정값이 지속적으로 필요합니다. 본 연구에서는 시각적 외관과 기하학적 정보를 융합하여 객체 자세를 추정하는 다중 모달 트래커를 개발하였습니다. 이 알고리즘은 기하학적 정보만을 사용하는 우리 이전 방법 ICG를 확장하여 표면 외관을 추가로 고려하도록 설계되었습니다. 일반적으로, 객체 표면은 텍스트, 그래픽, 패턴으로부터 얻어지는 국소 특성뿐만 아니라 서로 다른 재질과 색상으로 인한 전역 차이를 포함하고 있습니다.이 시각적 정보를 통합하기 위해 두 가지 모달성이 개발되었습니다. 국소 특성을 위해 키포인트 특징을 사용하여 키프레임과 현재 이미지 사이의 점 간 거리를 최소화하였습니다. 전역 차이는 객체 표면 상의 여러 영역을 고려하는 새로운 지역 접근법을 통해 처리됩니다. 또한, 이 방법은 외부 기하학적 구조의 모델링을 가능하게 합니다.YCB-Video와 OPT 데이터셋에 대한 실험 결과, 우리의 접근 방식 ICG+가 두 데이터셋 모두에서 가장 우수한 성능을 보였으며, 기존 방법과 딥러닝 기반 방법보다 뛰어났습니다. 동시에, 이 알고리즘은 매우 효율적이며 초당 300회 이상 실행됩니다. 우리의 트래커 소스 코드는 공개적으로 이용 가능합니다.