17 天前
手势语言翻译:基于教学视频的翻译
Laia Tarrés, Gerard I. Gállego, Amanda Duarte, Jordi Torres, Xavier Giró-i-Nieto

摘要
自动手语翻译(SLT)向口语语言转换的技术进展,以往主要基于规模有限且领域受限的数据集进行评估。本研究通过在大规模、多领域的How2Sign数据集上提供首个基准测试结果,推动了该领域的技术发展。我们基于I3D视频特征,采用Transformer模型进行训练,并以简化版的BLEU作为验证指标,而非广泛使用的标准BLEU分数。实验结果显示,该方法在BLEU评分上达到8.03分。此外,我们公开发布了首个同类开源实现,旨在促进该领域后续研究的进一步发展。