2달 전

RGBT 추적을 위한 동적 융합 네트워크

Jingchao Peng; Haitao Zhao; Zhengwei Hu
RGBT 추적을 위한 동적 융합 네트워크
초록

가시광 및 적외선 영상 모두 장단점이 있기 때문에, RGBT 추적 기술에 대한 관심이 점차 증가하고 있습니다. RGBT 추적의 핵심은 가시광 및 적외선 영상의 특징 추출과 특징 융합에 있습니다. 현재의 RGBT 추적 방법들은 주로 개별 특징(단일 카메라에서 추출된 특징)과 공통 특징(RGB 카메라와 열화상 카메라에서 추출 및 융합된 특징)에 주목하지만, 등록된 영상 쌍들의 다양한 시퀀스에 대해 개별 특징과 공통 특징의 서로 다른 동적인 기여도에는 상대적으로 덜 주목하고 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 RGBT 추적 방법인 동적 융합 네트워크(Dynamic Fusion Network, DFNet)를 제안합니다. DFNet은 두 개의 스트림 구조를 채택하여 각 레이어에서 두 개의 비공유 컨볼루션 커널을 사용하여 개별 특징을 추출합니다. 또한, DFNet은 각 레이어에서 공유 컨볼루션 커널을 사용하여 공통 특징을 추출합니다. 비공유 컨볼루션 커널과 공유 컨볼루션 커널은 서로 다른 영상 쌍에 따라 적응적으로 가중 평균되어 합산되므로, DFNet은 다양한 시퀀스에 대해 서로 다른 기여도를 처리할 수 있습니다. DFNet은 매우 빠른 속도를 자랑하며, 28.658 FPS(Frames Per Second)입니다. 실험 결과는 DFNet이 비공유 컨볼루션 커널 기반 융합 방법보다 Mult-Adds가 0.02% 증가하는 것 외에는 정밀도(Precision Rate, PR)와 성공률(Success Rate, SR)이 각각 88.1%와 71.9%를 달성함을 보여줍니다.

RGBT 추적을 위한 동적 융합 네트워크 | 최신 연구 논문 | HyperAI초신경