MFGNet: RGB-T 추적을 위한 동적 모달리티 인식 필터 생성

많은 RGB-T 추적기들은 적응 가중치 방식(또는 주의 메커니즘)을 활용하여 강건한 특징 표현을 얻으려고 시도한다. 이러한 연구들과 달리, 우리는 실제 추적에서 다양한 입력 이미지에 대해 합성곱 커널을 적응적으로 조정하여 가시광과 열화상 데이터 간의 메시지 교환을 강화하는 새로운 동적 모달리티 인식 필터 생성 모듈(모달리티 인식 필터 네트워크, MFGNet이라고 명명함)을 제안한다. 이미지 쌍이 입력으로 주어지면, 먼저 백본 네트워크를 사용하여 그들의 특징을 인코딩한다. 그런 다음, 이 특징 맵들을 연결(concatenate)하고 두 개의 독립적인 네트워크를 통해 동적 모달리티 인식 필터를 생성한다. 가시광 및 열화상 필터는 각각 해당 입력 특징 맵에 대해 동적 합성곱 연산을 수행하는데 사용된다. 잔차 연결(residual connection)에서 영감을 받아, 생성된 가시광 및 열화상 특징 맵은 입력 특징 맵과 함께 요약된다. 증강된 특징 맵은 후속 분류를 위한 인스턴스 수준의 특징을 생성하기 위해 RoI 정렬 모듈로 전달된다.중대한 가림, 빠른 움직임 및 화면 외 위치(out-of-view) 문제를 해결하기 위해, 우리는 새로운 방향 인식 대상 주도 주의 메커니즘(direction-aware target driven attention mechanism)을 활용하여 지역 및 전역 검색을 결합하는 방법을 제안한다. 공간 및 시간 재귀 신경망(spatial and temporal recurrent neural network)은 정확한 전역 주의 예측을 위해 방향 인식 컨텍스트를 포착하는데 사용된다. 세 개의 대규모 RGB-T 추적 벤치마크 데이터셋에서 수행된 광범위한 실험은 우리 제안 알고리즘의 유효성을 입증하였다. 본 논문의 소스 코드는 \textcolor{마젠타}{\url{https://github.com/wangxiao5791509/MFG_RGBT_Tracking_PyTorch}}에서 제공된다.