PMI 샘플러: 항공 행동 인식을 위한 패치 유사도 지도형 프레임 선택

비디오 행동 인식에서 정보성 프레임을 선택하기 위한 새로운 알고리즘을 제안한다. 본 연구의 접근법은 움직이는 카메라로 촬영된 항공 영상에 특화되어 있으며, 인간 주체가 영상 프레임에서 작은 공간 해상도를 차지하는 상황을 고려한다. 제안하는 알고리즘은 항공 영상 내부의 운동 편향(motion bias)을 활용하여 운동적으로 두드러진 프레임을 선택할 수 있도록 한다. 인접한 프레임 간의 운동 편향을 정량화하기 위해 패치 상호정보량(Patch Mutual Information, PMI) 점수라는 개념을 도입하였으며, 이는 패치 간 유사도를 측정함으로써 구현된다. 이 점수를 통해 한 프레임이 다른 프레임에 비해 담고 있는 구분 가능한 운동 정보의 양을 평가한다. 또한, 이동형 리니어 레이어(Shifted Leaky ReLU)와 누적 분포 함수(Cumulative Distribution Function)를 활용한 적응형 프레임 선택 전략을 제안하여, 고운동 강조도를 가진 모든 핵심 세그먼트를 포괄적으로 샘플링할 수 있도록 보장한다. 본 방법은 어떠한 행동 인식 모델과도 통합 가능하며, 모델의 정확도를 향상시킬 수 있다. 실제 실험 결과, UAV-Human 데이터셋에서 상대적 정확도 향상률이 2.2~13.8%, NEC Drone 데이터셋에서 6.8%, Diving48 데이터셋에서 9.0%를 기록하였다.