드론 탑재를 통한 RGB 및 열화상 이미지를 활용한 딥러닝을 통한 모니터링 운영

이 논문은 일본의 고급 로봇 재단(Advanced Robotics Foundation)이 정의한 특정 제한된 재난 상황에서 재난 구조 임무와 관련된 모니터링 및 순찰 작업을 수행하는 드론의 인공지능(AI) 구성 요소에 대해 설명한다. AI 구성 요소는 환경 인식 및 객체 탐지에 깊은 학습 모델을 활용한다. 환경 인식을 위해 RGB 이미지를 기반으로 한 의미적 세그멘테이션(피크셀 단위 레이블링)을 사용한다. 객체 탐지는 도움이 필요한 사람을 탐지하고 위치를 파악하는 데 핵심적인 역할을 한다. 드론 시점에서 사람들은 비교적 작은 객체이므로, RGB 이미지와 열화상 이미지를 모두 활용한다. 모델을 훈련하기 위해 우리는 사람에 대한 새로운 다중 스펙트럼(multispectral)이며 공개 가능한 데이터셋을 구축하였다. 사람의 지표적 위치를 파악하기 위해 지리적 위치 기반 방법을 사용하였다. 의미적 세그멘테이션 모델은 다양한 특징 추출기(feature extractors)를 사용하여 광범위하게 테스트되었다. 본 연구에서는 두 가지 전용 데이터셋을 개발하였으며, 이를 공개하였다. 기준 모델(baseline model)과 비교했을 때, 최고 성능을 보인 모델은 평균 교차합률(mean intersection over union, IoU)을 1.3% 향상시켰다. 또한 두 가지 유형의 사람 탐지 모델을 비교하였다. 첫 번째는 RGB와 열화상 정보를 “후기 융합(late fusion)” 방식으로 결합하는 앙상블 모델이며, 두 번째는 이 두 가지 정보를 “조기 융합(early fusion)” 방식으로 통합한 4채널 모델이다. 결과적으로, 더 엄격한 IoU 기준(0.75)에서 4채널 모델은 앙상블 모델 대비 평균 정밀도(average precision)가 40.6% 향상되었으며, 열화상 모델 대비 5.8% 향상되었다. 모든 모델은 NVIDIA AGX Xavier 플랫폼에 배포되어 테스트되었다. 우리 지식상 이 연구는 드론의 시점에서 재난 모니터링 작업에 RGB와 열화상 데이터를 동시에 활용한 최초의 사례이다.