2달 전

ICAFusion: 반복적 크로스-어텐션 안내 피처 융합을 이용한 다광譜 객체 검출 注:在“다광谱”中,“谱”字在韩文中通常写作“보”,但为了保持与原文的一致性,这里使用了“谱”。如果需要更符合韩文习惯的表达,请告知。

Shen, Jifeng ; Chen, Yifei ; Liu, Yue ; Zuo, Xin ; Fan, Heng ; Yang, Wankou
ICAFusion: 반복적 크로스-어텐션 안내 피처 융합을 이용한 다광譜 객체 검출
注:在“다광谱”中,“谱”字在韩文中通常写作“보”,但为了保持与原文的一致性,这里使用了“谱”。如果需要更符合韩文习惯的表达,请告知。
초록

다중 스펙트럼 이미지의 효과적인 특성 융합은 다중 스펙트럼 객체 검출에서 중요한 역할을 합니다. 이전 연구들은 합성곱 신경망을 사용한 특성 융합의 효과성을 입증하였지만, 이러한 방법들은 로컬 범위 특성 상호작용의 본질적인 부족함으로 인해 이미지 오류 정렬에 민감하여 성능이 저하되는 문제를 가지고 있습니다. 이를 해결하기 위해, 전역 특성 상호작용을 모델링하고 동시에 다양한 모달 간 보완 정보를 포착하는 새로운 듀얼 크로스-어텐션 트랜스포머 특성 융합 프레임워크가 제안되었습니다. 이 프레임워크는 쿼리 안내 크로스-어텐션 메커니즘을 통해 객체 특성의 구분력을 향상시키며, 이로 인해 성능이 개선됩니다. 그러나 여러 트랜스포머 블록을 쌓아서 특성을 강화하면 많은 매개변수와 높은 공간 복잡도가 발생합니다. 이를 처리하기 위해, 인간이 지식을 검토하는 과정에서 영감을 얻어 블록별 다중 모달 트랜스포머 간 매개변수 공유를 위한 반복적 상호작용 메커니즘이 제안되었습니다. 이 메커니즘은 모델 복잡도와 계산 비용을 줄이는 역할을 합니다. 제안된 방법은 일반적이며 효과적이어서 다양한 검출 프레임워크와 다른 백본과 통합되어 사용될 수 있습니다. KAIST, FLIR, VEDAI 데이터셋에 대한 실험 결과는 제안된 방법이 우수한 성능과 빠른 추론 시간을 달성하여 다양한 실용적 시나리오에 적합함을 보여주었습니다. 코드는 https://github.com/chanchanchan97/ICAFusion에서 제공될 예정입니다.

ICAFusion: 반복적 크로스-어텐션 안내 피처 융합을 이용한 다광譜 객체 검출 注:在“다광谱”中,“谱”字在韩文中通常写作“보”,但为了保持与原文的一致性,这里使用了“谱”。如果需要更符合韩文习惯的表达,请告知。 | 최신 연구 논문 | HyperAI초신경