基于时空姿态标记化和Transformer的人类中心视频异常检测

视频异常检测（VAD）在计算机视觉中面临着重大挑战，尤其是由于异常事件的不可预测性和稀有性，以及这些事件发生的多样化和动态环境。以人为中心的VAD作为该领域的专门研究方向，还面临额外的复杂性，包括人类行为的变化、数据中的潜在偏差以及与人类主体相关的重大隐私问题。这些问题使得开发既稳健又具有泛化能力的模型变得更加困难。为了解决这些挑战，近期的研究进展集中在基于姿态的VAD上，这种方法利用人体姿态作为高层次特征来减轻隐私问题、减少外观偏差并最小化背景干扰。本文介绍了一种名为SPARTA的新颖基于变压器的架构，专门用于以人为中心的基于姿态的VAD。SPARTA引入了一种创新的空间-时间姿态和相对姿态（ST-PRP）标记方法，生成了人体运动随时间变化的丰富表示。这种方法确保变压器的注意力机制同时捕捉空间和时间模式，而不仅仅是关注其中一个方面。加入相对姿态进一步突出了与正常人体运动之间的细微偏差。该架构的核心是一种新颖的统一编码器双解码器（UETD）变压器，显著提高了视频数据中异常行为的检测效果。在多个基准数据集上的广泛评估表明，SPARTA始终优于现有方法，在基于姿态的VAD领域树立了新的最先进水平。