RGBT 추적 벤치마크의 모달리티 유효성 관점에서 재검토: 새로운 벤치마크, 문제 및 해결책

RGBT 추적은 야간이나 불량 기후 조건과 같은 단일 감지 모드만으로 안정적인 추적 결과를 보장할 수 없는 다중 모달 보증(MMW) 시나리오에서의 견고성을 갖추기 때문에 점점 더 많은 관심을 받고 있습니다. 그러나 기존 벤치마크는 대부분 RGB와 열적외선(TIR) 정보가 충분한 품질을 유지하는 일반적인 시나리오에서 수집된 동영상들로 구성되어 있습니다. 이는 극단적인 이미징 조건에서의 대표성을 약화시키며, MMW 시나리오에서 추적이 실패하는 원인이 됩니다. 이러한 간극을 메우기 위해, 우리는 특히 RGB(극단적인 조명) 또는 TIR(열 절삭) 모달 중 하나가 유효하지 않은 MMW 시나리오에서 캡처된 새로운 벤치마크인 모달 유효성 고려 RGBT(MV-RGBT)를 제시합니다. 따라서, 유효한 모달에 따라 두 개의 하위 집합으로 나누어 평가를 위한 새로운 구성 관점을 제공하며, 향후 설계에 대한 중요한 통찰력을 제공합니다. 또한, MV-RGBT는 19개의 다른 장면에서 촬영된 36개의 다양한 객체 카테고리를 포함하여 해당 분야에서 가장 다양성이 뛰어난 벤치마크입니다.또한, MMW 시나리오에서의 극단적인 이미징 조건을 고려하여, RGBT 추적에 있어서 새로운 문제인 '언제 융합할 것인가'를 제기하여 이러한 상황을 위한 융합 전략 개발을 촉진하고자 합니다. 이 논의를 돕기 위해, 각 전문가가 독립적인 추적 결과와 신뢰도 점수를 생성하는 전문가들의 혼합 솔루션인 MoETrack(Experts Mixture for Tracking)를 제안합니다. 광범위한 실험 결과는 MV-RGBT가 RGBT 추적 분야 발전에 큰 잠재력을 가지고 있음을 입증하며, 특히 MMW 시나리오에서는 융합이 항상 유익하지 않다는 결론을 도출하였습니다. 또한, MoETrack는 MV-RGBT, GTOT, 그리고 LasHeR 등 여러 벤치마크에서 최신 연구 성과를 달성하였습니다.GitHub: https://github.com/Zhangyong-Tang/MVRGBT.