Zero-AVSR：通过学习语言无关的语音表征实现基于LLM的零样本跨模态语音识别

我们提出了一种新颖的零样本音频-视觉语音识别（Audio-Visual Speech Recognition, AVSR）框架，命名为Zero-AVSR，该框架能够在无需目标语言任何音频-视觉语音数据的情况下实现对目标语言的语音识别。具体而言，我们引入了音频-视觉语音罗马化器（Audio-Visual Speech Romanizer, AV-Romanizer），通过预测罗马字母文本来学习与语言无关的语音表征。随后，借助大型语言模型（Large Language Models, LLMs）强大的多语言建模能力，我们提出将预测的罗马文本转换为特定语言的音素符号（graphemes），从而构建所提出的级联式零样本AVSR框架（Cascaded Zero-AVSR）。为进一步提升性能，我们探索了一种统一的Zero-AVSR方法，即直接将AV-Romanizer编码的音频-视觉语音表征融入LLM中，通过我们提出的多任务学习策略对适配器（adapter）和LLM进行微调。为充分捕捉语音与语言的广泛多样性，我们还构建了一个多语言音频-视觉罗马化语料库（Multilingual Audio-Visual Romanized Corpus, MARC），包含82种语言共计2,916小时的音频-视觉语音数据，并附有对应的语言特定音素符号与罗马字母文本的转写。大量分析与实验结果表明，所提出的Zero-AVSR框架具备在AV-Romanizer训练过程中未见过的语言上扩展语言支持的巨大潜力。