通过视频与文本嵌入在联合隐空间中的跨模态对齐实现连续手语识别

连续手语识别（Continuous Sign Language Recognition, CSLR）是指从弱标注视频序列中识别出手语词素（gloss）及其时间边界这一具有挑战性的问题。以往的方法主要侧重于视觉特征的提取，忽视了文本信息的利用，且未能有效建模词素内部的依赖关系。为此，本文提出一种基于跨模态学习的方法，通过引入文本信息来提升基于视觉的CSLR性能。具体而言，首先采用两个强大的编码网络分别生成视频和文本的嵌入表示，随后将二者映射并对齐至一个联合潜在表示空间。所提出的跨模态对齐机制旨在建模词素内部的依赖关系，并生成更具描述性的基于视频的潜在表示，以增强CSLR的表达能力。该方法在视频与文本的潜在表示上进行联合训练，最终利用一个联合训练的解码器对对齐后的视频潜在表示进行分类。在三个主流手语识别数据集上的大量实验结果表明，该方法在性能上显著优于现有最先进方法，充分展现了其在连续手语识别任务中的巨大潜力。