17 天前

PMI采样器:基于块相似性引导的航拍动作识别帧选择

Ruiqi Xian, Xijun Wang, Divya Kothandaraman, Dinesh Manocha
PMI采样器:基于块相似性引导的航拍动作识别帧选择
摘要

我们提出了一种用于视频动作识别中信息帧选择的新算法。该方法专为运动相机拍摄的航拍视频设计,其中人类行为者在视频帧中占据较小的空间分辨率。我们的算法利用航拍视频中的运动偏置特性,实现对运动显著性帧的有效筛选。为此,我们引入了“块互信息(Patch Mutual Information, PMI)”评分机制,通过测量图像块之间的相似性来量化相邻帧间的运动偏置程度,进而评估某一帧相对于另一帧所包含的判别性运动信息量。在此基础上,我们提出一种基于移位漏失ReLU(shifted leaky ReLU)与累积分布函数(CDF)的自适应帧选择策略,确保所采样帧能够全面覆盖所有具有高运动显著性的关键片段。该方法可无缝集成至任意动作识别模型中,以提升其识别精度。在实际应用中,该方法在UAV-Human数据集上实现了2.2%至13.8%的Top-1准确率相对提升,在NEC Drone数据集上提升6.8%,在Diving48数据集上提升9.0%。