가시광-열화상 UAV 추적: 대규모 벤치마크 및 새로운 기준선

다중 모드 센서의 인기와 함께 가시광-적외선(RGB-T) 객체 추적은 객체의 온도 정보를 활용하여 견고한 성능과 더 넓은 응용 사례를 달성하는 것이 목표입니다. 그러나 짝을 이룬 훈련 샘플의 부족이 RGB-T 추적의 잠재력을 발휘하는 주요 장애물로 작용하고 있습니다. 고품질 RGB-T 시퀀스를 수집하는 것이 어렵기 때문에 최근 벤치마크는 테스트 시퀀스만 제공하고 있습니다. 본 논문에서는 가시광-적외선 무인 항공기 추적(VTUAV)을 위한 높은 다양성을 갖춘 대규모 벤치마크를 구축하였습니다. 이 벤치마크는 170만 개의 고해상도(1920 × 1080 픽셀) 프레임 쌍으로 구성된 500개의 시퀀스를 포함합니다. 또한, 다양한 카테고리와 장면을 고려하여 단기 추적, 장기 추적 및 분할 마스크 예측 등 포괄적인 응용 분야에 대한 철저한 평가가 이루어졌습니다. 더욱이, 도전 과제별 트래커의 잠재력을 활용하기 위해 프레임 수준 속성 주석(coarse-to-fine attribute annotation)을 제공하였습니다. 또한, 다양한 수준에서 RGB-T 데이터를 융합하는 새로운 RGB-T 기준 모델인 계층적 다중 모드 융합 트래커(Hierarchical Multi-modal Fusion Tracker, HMFT)를 설계하였습니다. 여러 데이터셋에서 다수의 실험이 수행되어 HMFT의 효과성과 다양한 융합 유형 간의 보완성이 밝혀졌습니다. 본 프로젝트는 여기에서 확인할 수 있습니다.