用于手势识别的时空多层感知机

手势识别对于自动驾驶车辆与人类的交互至关重要。尽管当前多数方法侧重于融合多种模态数据（如图像特征、关键点信息和骨骼向量），本文提出了一种仅依赖人体骨骼数据输入的神经网络架构，并在该条件下实现了当前最优的识别性能。我们提出了面向自动驾驶场景下的时空多层感知机（Spatio-Temporal Multilayer Perceptron）用于手势识别。在给定随时间演化的三维人体姿态序列基础上，我们设计了时空混合操作，以在时间和空间两个维度上有效提取特征。此外，通过引入Squeeze-and-Excitation模块，对每个时间步的重要性进行动态重加权，进一步提升模型对关键时序信息的感知能力。本文在TCG和Drive&Act两个数据集上进行了全面的实验评估，充分展示了所提方法的优异性能。此外，我们将该模型部署于实际自动驾驶车辆平台，验证了其在真实场景下的实时性与稳定运行能力。