12 天前

基于三维骨骼点云的人机交互学习用于视频暴力识别

{Qingyao Wu, Yukun Su, Jinhui Zhu, Guosheng Lin}
基于三维骨骼点云的人机交互学习用于视频暴力识别
摘要

本文提出了一种基于人体骨骼关键点之间上下文关系学习的新方法,用于识别暴力行为。与以往研究不同,本方法首先从视频中提取的人体骨骼序列构建三维骨骼点云,随后在这些三维骨骼点云上进行交互关系学习。为此,本文提出一种新颖的骨骼点交互学习(Skeleton Points Interaction Learning, SPIL)模块,用于建模骨骼点之间的相互作用。具体而言,SPIL通过构建局部区域点之间的特定权重分布策略,能够根据点的特征及其时空位置信息,有选择性地聚焦于最具相关性的部分。为捕捉多样化的关联信息,设计了多头机制,通过独立的多个头分别提取不同特征,并将其聚合以协同处理点之间的多种关系类型。实验结果表明,所提出的模型在视频暴力行为数据集上优于现有网络,取得了新的最先进性能。

基于三维骨骼点云的人机交互学习用于视频暴力识别 | 最新论文 | HyperAI超神经