摘要
我们推出了Mediapi-RGB，这是一个全新的法语手语（LSF）数据集，以及首个法语手语到法语的机器翻译模型。该数据集包含86小时的视频内容，是目前规模最大的具备翻译标注的法语手语语料库。语料库中的内容由聋人记者原创录制，全部为法语手语表达，并配有与手语同步的书面法语文本字幕。Mediapi-RGB当前版本已发布于Ortolang语料库仓库，可供学术研究使用。测试集和验证集分别包含13小时和7小时的视频，而训练集包含66小时的视频内容，将分阶段逐步于2024年12月前全部开放。此外，当前发布的版本为训练集、验证集和测试集中的所有视频提供了骨骼关键点、手语时间分割、时空特征以及字幕信息，并为评估目的提供了一个建议的名词词汇表。我们还基于该语料库构建了首个法语手语到法语翻译的基线模型，并报告了相关实验结果，以展示这一前所未有的高质量视频-文本数据集在法语手语研究中所具备的广阔应用潜力。最后，我们进一步探讨了该数据集在技术与语言学领域可能带来的多种应用前景，包括手语识别、机器翻译、人机交互及手语教育等方向。