MITFAS: 공유 정보 기반 시계열 특성 정렬 및 샘플링을 통한 항공 영상 동작 인식

우리는 무인 항공기(UAV) 영상에서의 동작 인식을 위한 새로운 접근법을 제안한다. 본 연구의 수식화는 UAV의 이동으로 인한 가림 현상과 시점 변화를 효과적으로 처리하도록 설계되었다. 우리는 시간 영역에서 인간의 동작이나 움직임에 해당하는 영역을 계산하고 정렬하기 위해 상호정보량(mutual information) 개념을 활용한다. 이를 통해 인식 모델은 움직임과 관련된 핵심 특징을 효과적으로 학습할 수 있다. 또한, UAV 영상에서 가장 정보량이 풍부한 프레임 시퀀스를 추출하기 위해 공동 상호정보량(joint mutual information)을 활용하는 새로운 프레임 샘플링 방법을 제안한다. 제안한 방법은 X3D 모델과 통합되어 다양한 데이터셋에서 성능을 평가하였다. 실질적인 실험 결과, UAV-Human(Li 등, 2021) 데이터셋에서 현재 최고 수준의 방법 대비 Top-1 정확도에서 18.9% 향상되었으며, Drone-Action(Perera 등, 2019)에서는 7.3%, NEC Drones(Choi 등, 2020)에서는 7.16%의 성능 향상을 달성하였다.