11일 전

번역, 스케일링 및 회전: 교차 모달 정렬이 RGB-적외선 차량 탐지에 접목되다

Maoxun Yuan, Yinyan Wang, Xingxing Wei
번역, 스케일링 및 회전: 교차 모달 정렬이 RGB-적외선 차량 탐지에 접목되다
초록

최근 몇 년간, 객체 탐지에 다중 스펙트럼 데이터, 특히 가시광선 및 적외선 이미지를 통합하는 연구가 큰 주목을 받고 있다. 가시광선(RGB) 이미지와 적외선(IR) 이미지는 조명 변화에 대응하기 위해 서로 보완적인 정보를 제공하므로, 다중 스펙트럼 보행자 탐지, RGB-IR 군중 수세기, RGB-IR 주목할 만한 객체 탐지 등 다양한 분야에서 활용되고 있다. 자연 환경의 RGB-IR 이미지와 비교할 때, 항공 이미지에서의 RGB-IR 객체 탐지는 모달 간 약한 비일치 문제에 직면해 있으며, 이는 동일 객체의 위치, 크기, 각도 측면에서의 편차로 나타난다. 본 논문에서는 항공 RGB-IR 이미지에서의 모달 간 약한 비일치 문제를 주요 과제로 다룬다. 구체적으로, 이러한 약한 비일치 문제의 원인을 설명하고 분석한 후, 두 모달의 특징 맵을 보정함으로써 문제를 해결하기 위한 Translation-Scale-Rotation Alignment(TSRA) 모듈을 제안한다. 이 모듈은 보정 과정을 통해 두 모달 간 객체 간 편차를 예측하고, Modality-Selection(MS) 전략을 활용하여 보정 성능을 향상시킨다. 마지막으로, TSRA 모듈 기반의 이중 스트림 특징 보정 탐지기(TSFADet)를 개발하여 항공 이미지에서의 RGB-IR 객체 탐지에 적용하였다. 공개된 DroneVehicle 데이터셋을 대상으로 수행한 종합적인 실험을 통해 제안한 방법이 모달 간 비일치의 영향을 감소시키고, 안정적인 탐지 성능을 달성함을 검증하였다.

번역, 스케일링 및 회전: 교차 모달 정렬이 RGB-적외선 차량 탐지에 접목되다 | 최신 연구 논문 | HyperAI초신경