用于连续手语识别的跨时序上下文蒸馏

连续手语识别（Continuous Sign Language Recognition, CSLR）旨在识别手语视频中的词素（glosses）。当前最先进的方法通常包含两个模块：空间感知模块与时间聚合模块，二者通过端到端联合学习。已有研究[9,20,25,36]表明，作为整体模型前端的关键组成部分，用于空间特征提取的空间感知模块往往存在训练不充分的问题。本文首先通过实证研究发现，采用较浅的时序聚合模块有助于更充分地训练空间感知模块。然而，过浅的时序聚合模块难以有效捕捉手语中局部与全局的时间上下文信息。针对这一矛盾，本文提出一种跨时序上下文聚合（Cross-Temporal Context Aggregation, CTCA）模型。具体而言，我们构建了一个双路径网络结构，包含两条分支，分别用于感知局部时序上下文与全局时序上下文。进一步地，我们设计了一种跨上下文知识蒸馏学习目标，用于融合两种时序上下文信息以及语言先验知识。该知识蒸馏机制使最终的单分支时序聚合模块能够同时感知局部-全局时序上下文与语义上下文。这种浅层时序感知结构显著促进了空间感知模块的学习效果。在多个具有挑战性的CSLR基准数据集上的大量实验表明，所提方法在性能上全面超越现有最先进方法。