9 天前
基于空间注意力机制的3D图卷积神经网络用于手语识别
{Hamid Ghaleb, Taha Alfakihm, Hamdi Altaheri, Mohammed Algabri, Mohammed Faisal, Hassan Mathkour, Tareq S. Alrayes, Yousef A. Alohali, Wadood Abdul, Mohamed Amine Mekhtiche, Ghulam Muhammad, Mansour Alsulaiman, Mohamed A. Bencherif, Muneer Al-Hammadi}
摘要
手语是听力障碍人士与他人交流的主要渠道。作为一种视觉语言，手语通过手势与非手势参数的复杂结构来传递信息，因此对听力健全者而言，掌握手语需要付出大量努力。手语识别技术旨在降低学习难度，弥合听力障碍人士与他人之间的沟通鸿沟。本研究提出了一种基于卷积图神经网络（GCN）的高效手语识别架构。该架构由若干可分离的3D图卷积网络（3DGCN）层构成，并引入空间注意力机制进行增强。由于所提出的架构层数有限，有效避免了深度图神经网络中常见的过度平滑问题。此外，注意力机制进一步提升了手势的空间上下文表征能力。在多个数据集上的实验结果表明，该方法取得了优异的识别性能。