기능 기반 점진적 융합 네트워크를 활용한 RGBT 추적

RGBT 추적은 빠른 운동, 척도 변동, 조명 변화, 열교차, 가림 등 다양한 도전적인 요인으로 인해 어려움을 겪는다. 기존 연구들은 이러한 모든 문제를 동시에 해결하기 위해 융합 모델을 탐구하는 경우가 많다. 그러나 이러한 접근은 매우 복잡한 융합 모델과 방대한 학습 데이터를 필요로 하며, 실제 환경에서 구축하기는 일반적으로 어렵다. 본 연구에서는 도전적 특성(attribute)을 기반으로 융합 과정을 분리하여, 작은 파라미터 수로도 융합 능력을 향상시키고 대규모 학습 데이터에 대한 의존도를 줄일 수 있는 새로운 솔루션인 속성 기반 점진적 융합 네트워크(Attributed-Based Progressive Fusion Network, APFNet)를 제안한다. 구체적으로, 열교차, 조명 변화, 척도 변화, 가림, 빠른 운동 등의 도전 상황 각각에 맞춰 다섯 개의 속성별 융합 브랜치를 설계하여 RGB 및 열 이미지 특징을 각각 융합한다. 융합 과정을 분리함으로써, 각 브랜치는 적은 수의 파라미터로도 다양한 모달리티 간의 강건한 융합을 달성할 수 있으며, 해당 속성에 맞는 소규모 레이블링 데이터셋을 사용하여 각 브랜치를 독립적으로 학습할 수 있다. 이후, 모든 브랜치의 특징을 적응적으로 융합하기 위해 SKNet 기반의 집계 융합 모듈을 설계하였다. 마지막으로, 집계된 특징과 모달리티별 특징을 강화하기 위해 강화 융합 트랜스포머(enhancement fusion transformer)도 제안하였다. 기준 데이터셋에서의 실험 결과는 제안한 APFNet이 기존 최첨단 방법들에 비해 우수한 성능을 보임을 입증한다.