초록
RGB 및 열화상 소스 데이터는 공유된 문제와 특정 문제 모두를 겪고 있으며, 이를 탐색하고 활용하는 방법은 RGBT 추적에서 대상의 외관을 표현하는 데 중요한 역할을 합니다. 본 논문에서는 모달리티 공유 문제(예: 빠른 움직임, 크기 변화, 가림)와 모달리티 특이 문제(예: 조명 변화, 열교차)를 처리하기 위한 새로운 도전 인식 신경망을 제안합니다. 특히, 각 층에서 모달리티 공유 문제 하에서의 대상 외관을 모델링하기 위해 여러 개의 매개변수 공유 분기를 설계하였으며, 모달리티 특이 문제 하에서는 매개변수 독립 분기를 설계하였습니다. 서로 다른 모달리티의 모달리티 특이 정보가 보완적인 장점을 포함한다는 관찰에 기반하여, 한 모달리티에서 다른 모달리티로 차별적인 특성을 전송하는 안내 모듈을 제안합니다. 이는 약한 모달리티의 차별 능력을 향상시키는 데 도움이 됩니다. 또한 모든 분기는 적응적으로 결합되어 백본 네트워크에 병렬로 내장되어 더욱 차별적인 대상 표현을 효율적으로 형성합니다. 이러한 도전 인식 분기는 특정 도전 상황 하에서 대상 외관을 모델링할 수 있으므로, 훈련 데이터가 부족한 상황에서도 몇 개의 매개변수로 대상 표현을 학습할 수 있습니다. 실험 결과를 통해 본 방법론이 세 가지 벤치마크 데이터셋에서 최신 기법들에 비해 우수한 성능을 보이며 실시간 속도로 작동함을 확인할 수 있을 것입니다.