2 个月前

基于时间卷积网络的可解释3D人体动作分析

Kim, Tae Soo ; Reiter, Austin
基于时间卷积网络的可解释3D人体动作分析
摘要

现代深度学习模型在三维人体动作识别方面的判别能力正变得越来越强大。随着近年来基于三维骨架的三维人体动作表示方法的复兴,近期的研究进展在质量和速度上都取得了显著提升。然而,最先进的基于学习的方法在三维人体动作识别中的内部机制仍然 largely 黑箱(black-box)。在这项工作中,我们提出使用一种新的模型类别——时间卷积神经网络(Temporal Convolutional Neural Networks, TCN)来进行三维人体动作识别。与流行的基于LSTM的递归神经网络模型相比,给定可解释的输入如三维骨架时,TCN为我们提供了一种显式学习易于解释的空间-时间表示的方法。我们介绍了重新设计具有可解释性的TCN的战略,并阐述了如何利用该模型的这些特性来构建强大的三维活动识别方法。通过这项工作,我们希望朝着一个更容易理解、解释和解读的空间-时间模型迈出一步。最终得到的模型Res-TCN在最大的三维人体动作识别数据集NTU-RGBD上取得了最先进的结果。

基于时间卷积网络的可解释3D人体动作分析 | 最新论文 | HyperAI超神经