효율적인 RGB-T 추적을 위한 다중 모달리티 교사-학생 학습

현재 대부분의 RGB-T 추적기들은 단일 모달인 RGB 및 열화상 특징을 추출하기 위해 이중 스트림 구조를 채택하고, 다중 모달 특징 융합을 달성하기 위해 복잡한 융합 전략을 사용한다. 그러나 이러한 방법은 엄청난 수의 파라미터를 요구하기 때문에 실생활 응용에 장애가 된다. 반면, 경량화된 RGB-T 추적기는 계산 효율성은 높을 수 있지만, 특징 표현 능력이 약화되면서 상당한 성능 저하를 겪는 문제가 있다. 이러한 문제를 해결하기 위해, 경량 추적기와 강력한 추적기 사이의 성능 격차를 줄이기 위한 교차 모달 지식 증류 프레임워크를 제안한다. 구체적으로, 깊은 이중 스트림 네트워크에서 모달 공통 정보와 모달 고유 정보를 얻어 얕은 단일 스트림 네트워크로 전달하는 특수-공통 특징 증류 모듈을 제안한다. 또한, 여러 경로를 활용하여 잘 설계된 융합 메커니즘을 통해 단순한 융합 모듈이 보다 정확한 다중 모달 정보를 학습할 수 있도록 안내하는 다중 경로 선택 증류 모듈을 제안한다. 제안한 방법의 효과성을 세 가지 RGB-T 벤치마크에서 광범위한 실험을 통해 검증하였으며, 최첨단 성능을 달성하면서도 훨씬 적은 계산 자원을 소비함을 입증하였다.