FAR: 푸리에 항공 영상 인식

우리는 무인 항공기(UAV) 영상에서의 활동 인식을 위한 알고리즘인 푸리에 활동 인식(Fourier Activity Recognition, FAR)을 제안한다. 본 연구의 제안 방식은 인간 에이전트(일반적으로 크기가 작음)를 배경으로부터 내재적으로 분리하는 새로운 푸리에 객체 분리 기법을 사용한다. 이 분리 기법은 주파수 도메인에서 공간 픽셀의 시간적 변화 정도를 특성화하며, 푸리에 변환의 합성곱-곱셈 성질을 활용하여 네트워크에서 얻은 객체-배경이 혼합된 특징 표현으로 이를 매핑한다. 맥락 정보 및 장거리 공간-시간 의존성을 효과적으로 포착하기 위해, 주파수 도메인에서 가중치를 부여한 외적(outer product)을 모델링함으로써 자기 주의(Self-attention)의 장점을 재현하는 새로운 푸리에 주의(Fourier Attention) 알고리즘을 제안한다. 제안하는 푸리에 주의 방식은 기존 자기 주의보다 훨씬 적은 계산량을 요구한다. 제안된 방법은 UAV Human RGB, UAV Human Night, Drone Action, NEC Drone 등 다양한 UAV 데이터셋에서 평가되었으며, 기존 기법 대비 상위-1 정확도에서 8.02%~38.69%의 상대적 향상과 최대 3배 빠른 처리 속도를 입증하였다.