一句话总结

Google 提出 AudioPaLM，一种统一的多模态语言模型，将 PaLM-2 的语言知识与 AudioLM 的副语言能力相融合，联合处理并生成文本与语音，在语音识别与语音到语音翻译任务上达到最先进水平，同时借助大规模文本预训练实现未见语言对的零样本语音转文本，以及跨语言语音迁移。

核心贡献

• AudioPaLM 是一种统一的多模态架构，将基于文本的 PaLM-2 与基于语音的 AudioLM 融合，以联合处理并生成文本与语音，支持语音识别、语音到语音翻译等任务。
• 使用预训练的纯文本 LLM 权重初始化 AudioPaLM，能够利用大规模文本数据提升语音任务性能，从而在语音翻译基准上取得最先进结果，并具备竞争力的语音识别准确率。
• AudioPaLM 可对未见语言对进行零样本语音转文本翻译，并支持从短语音提示中实现跨语言语音迁移，根据自动指标和人工评估，其质量超越现有系统。

引言

大型语言模型（LLM）已被扩展到连续音频领域，方法是将波形编码为离散 token 并自回归地建模，但以往的生成式音频系统将文本和音频词表视为分离的，导致单一模型无法自由地交织两种模态。类似 AudioLM 的层次化 token 化方法可以生成高保真语音，但构建于其上的文本到语音模型仍依赖分离的文本与音频表示，而语音到语音翻译级联系统会累积错误并丢弃副语言线索。作者提出了 AudioPaLM，一种仅解码器的 Transformer，将文本与语音融合到统一的离散 token 词表中。这一设计使得从类似 PaLM-2 的预训练文本 LLM 初始化的单一模型，能够联合训练语音识别、文本到语音合成以及语音到语音翻译，在取得最先进翻译结果和竞争力识别性能的同时，还支持语音迁移和零样本翻译。

数据集

作者从多个数据集中组合训练混合数据，将真实录音与合成语音及文本相结合。每个子集针对不同的模态或任务，并辅以额外的数据增广步骤以提升数据量和语言覆盖度。

数据集组成与来源

• CoVoST2：映射 21 种语言到英语文本的语音转文本语料库。
• CVSS：用合成目标语音扩充 CoVoST2；默认的规范语音变体（CVSS-C）用于语音到语音翻译。
• VoxPopuli：欧洲议会录音，包含转写文本（用于 ASR）和口译语音（用于语音翻译）。
• Common Voice：志愿者朗读文本并配对的录音。
• 对话数据集（Jia et al., 2019a）：众包西班牙语朗读，源自专有对话式西班牙语-英语机器翻译子集。
• YouTube ASR：由 USM-2B ASR 模型自动转录的无标签多语言 YouTube 音频，用于改进字幕和翻译。
• WMT/TED TTS：基于文本到文本翻译数据集（WMT、TED），将源文本与目标文本均通过 TTS 引擎生成合成配对音频。
• PaLM MT TTS：将来自 YouTube、Common Voice 和 Babel 的转录文本通过 PaLM-2 翻译成英语，再由先前的 AudioPaLM 模型合成翻译后的语音，生成额外的语音到语音翻译训练对。

处理与合成生成

• 基于文本的数据集的音频由 TTS 系统对源文本和目标文本进行语音合成得到。
• PaLM MT TTS 集合使用机器翻译与语音合成的组合，从已有转录文本生成配对音频。
• YouTube 数据被自动转录且保持无标签，CVSS 则根据 CoVoST2 参考文本合成目标语音。

数据使用方式

• 这些数据集被混合用于 ASR、AST 和 S2ST 任务（详见论文第 3.5 节），混合比例在消融实验中进行了探索。
• 模型还继承了预训练 PaLM 文本检查点中的知识以及用于训练音频 tokenizer 的数据，因此有效的训练信号超出了所列数据集。
• 文中并未描述显式的裁剪策略或元数据构建方法；核心在于任务特定的混合和合成数据扩充。

方法

作者采用仅解码器的 Transformer 对包含文本和音频 token 的序列进行建模。文本和音频被视为任意整数序列，在输入前被 token 化，输出后再转为原始形式。多模态词表由音频词表和 SentencePiece 文本词表合并构成。整体模型架构如下所示。

为将原始波形转换为 token，作者从语音表示模型中提取嵌入，并将其离散化为数量有限的音频 token。他们试验了多种方法。第一种使用多语言 w2v-BERT 模型，在 k-means 聚类前不对嵌入做归一化。第二种使用 2B 参数的多语言 Universal Speech Model 编码器，从中间层提取嵌入。第三种采用经辅助自动语音识别损失微调的量化器，以提升多语言性能。这些方法以 25Hz 的速率生成 token，词表大小为 1024。

为将预训练的纯文本解码器适配为同时建模两种模态，作者将 token 嵌入矩阵 $E$E 的大小从 $t \times m$t×m 扩展为 $(t + a) \times m$(t+a)×m，其中 $t$t 为文本 token 的数量，$a$a 为音频 token 的数量，$m$m 为嵌入维度。输出嵌入矩阵 $E'$E′ 也同样扩展，并保持共享变量性质 $E' = E^T$E′=ET。前 $t$t 个 token 对应文本，随后的 $a$a 个 token 表示音频。文本嵌入复用自预训练模型，音频嵌入则全新初始化。随后所有模型参数在混合的语音与文本任务上进行训练。

为从生成的音频 token 合成原始音频，作者采用自回归解码或非自回归解码。两种方法均首先生成 SoundStream token，再通过卷积解码器将其转换为波形。自回归方法分为两个阶段：第一阶段利用语音条件生成低码率 SoundStream token，第二阶段重建残差向量量化器的更高层以提升音频质量。非自回归方法采用迭代方法并行处理所有 token，在更快的生成速度下实现高一致性。语音条件以 3 秒的语音样本形式提供，以便在翻译过程中保持原始说话人的声音。

模型在多种任务的混合数据上进行微调，包括自动语音识别、自动语音翻译、语音到语音翻译、文本到语音以及文本到文本机器翻译。任务通过输入前缀标签来指示，标签注明任务和语言，例如 [ASR French] 或 [S2ST English French]。作者还使用了组合任务，即指示模型在一次自回归解码过程中输出复杂任务的中间步骤。例如，语音到语音翻译任务可被表述为首先输出源文本，然后输出翻译后的文本，最后输出翻译后的音频 token。这使得模型在每个阶段都能关注到所有先前解码的内容。

训练混合数据旨在覆盖这些任务。翻译混合包含识别、翻译和机器翻译任务。语音到语音混合则增加文本到语音以及直接语音到语音翻译任务。微调使用 Adafactor 优化器，恒定学习率为 $5 \times 10^{-5}$5×10−5，dropout 率为 0.1，并对输入应用了损失掩膜。

实验

评估设置涵盖语音转文本翻译（AST）、语音到语音翻译（S2ST）和自动语音识别（ASR），在 CoVoST2、VoxPopuli、FLEURS 和 CVSS 等基准上进行，采用 BLEU、词错误率/字符错误率以及主观质量指标。实验表明，通过对预训练文本模型进行多任务微调，并结合组合中间任务、更丰富的数据混合与更大规模，AST 和 S2ST 性能得到了大幅提升，同时还能将翻译能力零样本迁移到仅在 ASR 数据中出现过的语言。添加 S2ST 任务可以实现具有高语音相似度和音频质量的直接语音翻译，其表现超越了级联基线和真实合成语音，尽管在文本输出指标上会有轻微的折中。

AudioPaLM 训练使用了多种数据集，每个数据集提供音频、转录文本和翻译音频的不同组合，从而决定其在 ASR、AST 或 S2ST 任务中的用途。由于数据集平衡策略，不同模型变种所见的训练小时数有所不同：YouTube ASR 为语音转文本模型提供了最多的音频（AudioPaLM AST 为 13k 小时），而 VoxPopuli S2ST 则为语音到语音训练贡献了最大的翻译音频量。语言覆盖范围从对话式 EsEn 数据集中的 2 种语言到 CommonVoice 11 中的 98 种语言。YouTube ASR 为音频转文本模型提供了最大的训练音频量，AudioPaLM AST 为 13k 小时，AudioPaLM-2 AST 为 7.6k 小时，但它未用于 S2ST 混合。CoVoST2/CVSS 与对话式 EsEn 是唯一包含全部四种模态（音频、转录文本、翻译音频和翻译转录文本）的数据集，可直接用于语音到语音翻译以及组合的 ASR+AST 任务。

AudioPaLM 8B 模型在语音翻译任务上大幅超越现有基线，AST 变种在 CoVoST2 上取得了大幅领先，S2ST 变种在 CVSS S2ST 上也超越了 Translatotron 2。在 VoxPopuli ASR 上，AST 变种具有竞争力，但不如最强的专用 ASR 模型，而 S2ST 变种则损失了一些 ASR 准确率。AudioPaLM 8B AST 模型在 CoVoST2 AST BLEU 分数上显著超过 Whisper Large-v2、USM-M 以及其他基线。AudioPaLM 8B S2ST 模型在 CVSS S2ST 上以较大优势超越 Translatotron 2（32.5 vs 25.6 ASR-BLEU）。在 VoxPopuli ASR 上，AudioPaLM 8B AST 的词错误率高于最佳的专用模型（MAESTRO 8.1%，mSLAM-CTC 9.1%），可认为其具备竞争力但并非顶级。

AudioPaLM-2 在两个语言组都取得了最高的零样本 AST BLEU 分数，在 AST 曾见过的语言上超越 Whisper Large-v2，在仅 ASR 见过的语言上则近乎持平，同时使用了远少的有监督训练数据。相比 AudioPaLM 的巨大提升（尤其是在从未见过翻译数据的语言上）表明，PaLM-2 带来的文本翻译改进直接增强了零样本场景下的语音翻译。AudioPaLM-2 在 AST 曾见过的语言上 BLEU 为 28.6，优于 Whisper Large-v2 的 23.3，尽管其 AST 训练数据量约为 Whisper 的十五分之一，且总的有监督音频少一个数量级。对于没有翻译训练数据的语言，AudioPaLM-2 的 BLEU 达到 20.7，几乎持平 Whisper 在同一集合上的 19.6，而 Whisper 实际上是接触过这些语言的 AST 数据的。将基础模型从 PaLM 切换为 PaLM-2，使得仅以 ASR 数据训练的语言上的零样本翻译 BLEU 从 10.0 提升到 20.7，超过一倍，证明了文本翻译改进能直接延续到语音任务。

AudioPaLM 在所有评估维度上都取得了最高分，超越了 CVSS-T 真实合成语音基线和 Translatotron 2。主观评估显示 AudioPaLM 的音频质量和语音相似度评分显著更高，客观指标也证实了其出色的语音保持和声学一致性。AudioPaLM 获得了最高的主观音频质量得分（4.44），超过 CVSS-T 和 Translatotron 2。AudioPaLM 的客观语音相似度约为 Translatotron 2 的两倍（0.40 vs. 0.18）。声学一致性在 AudioPaLM 上达到峰值（0.81），表明录音条件的转移效果更好。

同时训练自动语音识别（ASR）和语音转文本翻译（AST）任务，相比仅训练 AST 能提升翻译质量。在 CoVoST2 AST 基准上，加入 ASR 数据将 BLEU 分数从 16.0 提高到 18.5。这表明，联合学习转写和翻译语音有助于模型更好地建立音频输入到文本的连接。在训练混合中加入 ASR 任务使 AST 性能提升了 2.5 个 BLEU。在 CoVoST2 语音翻译基准上，ASR 与 AST 联合训练优于仅 AST 训练。

评估覆盖了自动语音翻译（AST）、语音到语音翻译（S2ST）、自动语音识别（ASR）、零样本 AST 以及对翻译质量的主观评估。AudioPaLM 模型在语音翻译任务上持续超越先前的基线，而使用 PaLM-2 作为骨干则通过将更强的文本翻译能力迁移到语音，显著提升了零样本 AST。ASR 与 AST 的联合训练进一步提升了翻译质量，主观评估确认 AudioPaLM 在合成语音中达到了高音频质量、语音相似度和声学一致性。