一个模型不足以应对：用于孤立手语识别的集成方法

本文深入研究了手语识别任务，重点关注孤立手语符号的识别。该任务被定义为一个分类问题，即对一系列帧（即图像）进行识别，判断其属于给定的手语词目（gloss）中的哪一类。我们分析了两种基于外观的方法——I3D与TimeSformer，以及一种基于姿态的方法——SPOTER。其中，基于外观的方法在多种不同的数据模态上进行训练，而SPOTER的性能则在不同预处理方式下进行了评估。所有方法均在两个公开可用的数据集AUTSL和WLASL300上进行了测试。通过引入集成学习技术，并采用CMA-ES优化方法寻找最优的集成权重参数，我们在WLASL300数据集上取得了73.84%的准确率，达到了新的最先进水平。此外，本文提出了一种基于Transformer模型的新型集成方法，称为Neural Ensembler。