2달 전

다중 모드 융합 트랜스포머를 이용한 다광譜 객체 검출 注意:在韩文中,“多光谱”通常翻译为“다광역”或“다중파장”。根据具体上下文,可以选择更合适的词汇。以下是调整后的版本: 다중 모드 융합 트랜스포머를 이용한 다광역 객체 검출

Qingyun, Fang ; Dapeng, Han ; Zhaokui, Wang
다중 모드 융합 트랜스포머를 이용한 다광譜 객체 검출
注意:在韩文中,“多光谱”通常翻译为“다광역”或“다중파장”。根据具体上下文,可以选择更合适的词汇。以下是调整后的版本:
다중 모드 융합 트랜스포머를 이용한 다광역 객체 검출
초록

다중 스펙트럼 이미지 쌍은 개방된 환경에서 객체 검출 응용 프로그램을 더욱 안정적이고 견고하게 만드는 결합 정보를 제공할 수 있습니다. 이러한 다양한 모달성을 완전히 활용하기 위해, 본 논문에서는 간단하면서도 효과적인 크로스-모달리티 특성 융합 접근 방식인 크로스-모달리티 융합 트랜스포머 (Cross-Modality Fusion Transformer, CFT)를 제시합니다. 이전의 CNN 기반 연구들과 달리, 트랜스포머 체계에 의해 안내되는 우리의 네트워크는 특성 추출 단계에서 장거리 의존성을 학습하고 전역 컨텍스트 정보를 통합합니다. 더욱 중요한 점은 트랜스포머의 자기 주의 메커니즘을 활용함으로써, 네트워크가 자연스럽게 동일 모달리티 내부와 다른 모달리티 간의 융합을 동시에 수행하고, RGB 및 열 영역 사이의 잠재적인 상호 작용을 견고하게 포착할 수 있다는 것입니다. 이로 인해 다중 스펙트럼 객체 검출의 성능이 크게 향상됩니다. 여러 데이터셋에 대한 광범위한 실험과 축소 실험 결과는 우리의 접근 방식이 효과적이며 최신 수준의 검출 성능을 달성한다는 것을 입증하였습니다. 우리의 코드와 모델은 https://github.com/DocF/multispectral-object-detection 에서 확인할 수 있습니다.

다중 모드 융합 트랜스포머를 이용한 다광譜 객체 검출 注意:在韩文中,“多光谱”通常翻译为“다광역”或“다중파장”。根据具体上下文,可以选择更合适的词汇。以下是调整后的版本: 다중 모드 융합 트랜스포머를 이용한 다광역 객체 검출 | 최신 연구 논문 | HyperAI초신경