9 天前

通过骨骼图像表示提升巴西手语识别

Carlos Eduardo G. R. Alves, Francisco de Assis Boldt, Thiago M. Paixão
通过骨骼图像表示提升巴西手语识别
摘要

有效沟通对于聋人群体融入社会至关重要。然而,由于普遍存在的手语知识匮乏,沟通障碍长期存在,限制了聋人群体的全面参与。在此背景下,手语识别(Sign Language Recognition, SLR)系统应运而生,旨在促进手语使用者与非手语使用者之间的交流。尤其值得关注的是孤立手语手势识别(Isolated Sign Language Recognition, ISLR),该技术在基于视觉的手语搜索引擎、学习工具及翻译系统的发展中具有重要意义。本文提出一种新型ISLR方法,通过在时间序列上提取人体、手部及面部关键点,并将其编码为二维图像,再由卷积神经网络对这些图像进行处理,从而将视觉-时序信息映射为具体的手语标签。实验结果表明,该方法在巴西手语(LIBRAS)两个广泛认可的数据集上,各项性能指标均超越现有最先进水平。此外,由于采用更简洁的网络架构并仅以RGB图像作为输入,本方法不仅识别精度更高,而且在训练效率和运行速度方面也更具优势,具备更强的实用性与可扩展性。

通过骨骼图像表示提升巴西手语识别 | 最新论文 | HyperAI超神经