드론 기반 RGB-적외선 교차 모달 차량 탐지: 불확실성 인지 학습을 통한 접근

드론 기반 차량 탐지 기술은 항공 이미지 내에서 차량의 위치와 종류를 식별하는 것을 목표로 하며, 스마트 시티 교통 관리 및 재난 구조 활동에 중요한 역할을 한다. 연구자들은 이 분야에 많은 노력을 기울여 상당한 성과를 거두었지만, 특히 저조도 환경에서는 객체를 구분하기 어려운 문제로 인해 여전히 도전 과제가 남아 있다. 이러한 문제를 해결하기 위해 우리는 대규모 드론 기반 RGB-적외선 차량 탐지 데이터셋인 DroneVehicle를 구축하였다. DroneVehicle는 일몰부터 일출까지 다양한 시간대를 포함하여 도시 도로, 주거 지역, 주차장 등 다양한 환경에서 촬영된 총 28,439개의 RGB-적외선 이미지 쌍을 포함하고 있다. RGB 이미지와 적외선 이미지 간의 큰 차이로 인해 다중 모달 이미지에서는 유용한 정보와 중복 정보가 동시에 존재하게 된다. 이러한 모순을 해결하기 위해, 우리는 저조도 환경에서의 탐지 성능을 크게 향상시킬 수 있는 불확실성 인식형 다중 모달 차량 탐지 프레임워크(UA-CMDet)를 제안한다. 이 프레임워크는 각 모달의 보완적인 정보를 효과적으로 추출할 수 있도록 설계되었으며, 특히 불확실성 인식 모듈(UAM)을 도입하여 각 모달의 불확실성 가중치를 정량화한다. 이 가중치는 다중 모달 교차합집합률(IoU)과 RGB 조도 값을 기반으로 계산된다. 또한 추론 단계에서 모달 고유 정보를 보다 효과적으로 통합하기 위해 조도 인식형 다중 모달 비최대 억제 알고리즘을 설계하였다. DroneVehicle 데이터셋을 대상으로 수행한 광범위한 실험을 통해 제안된 방법이 다중 모달 차량 탐지에 있어 뛰어난 유연성과 효과성을 입증하였다. 본 데이터셋은 https://github.com/VisDrone/DroneVehicle에서 다운로드 가능하다.