无文本韵律感知的生成式语音语言建模

语音预训练在分类任务中已展现出显著成效，但其生成新颖语音的能力——类似于GPT-2能够生成连贯段落——却几乎未被深入探索。目前唯一针对语音预训练生成特性的研究是生成式口语语言建模（Generative Spoken Language Modeling, GSLM）\cite{Lakhotia2021}，该方法将文本替换为所发现的类音素单元进行语言建模，并展示了生成有意义新句子的能力。然而，尽管GSLM避免了对文本的依赖，其所使用的单元却丢失了大部分韵律信息，导致模型无法利用韵律提升理解能力，也无法生成具有表现力的语音。针对这一问题，本文提出一种面向韵律的生成式口语语言模型（prosody-aware Generative Spoken Language Model, pGSLM）。该模型由一个多流Transformer语言模型（Multi-stream Transformer Language Model, MS-TLM）构成，其输入包括由语音数据中发现的离散单元流与韵律特征流，再通过一个改进的HiFi-GAN模型将MS-TLM的输出转换为波形信号。我们设计了一系列用于韵律建模与生成的评估指标，并复用了GSLM中的指标以评估内容建模性能。实验结果表明，pGSLM能够有效利用韵律信息，同时提升韵律与内容建模效果，并在给定口语提示的情况下生成自然、有意义且连贯的语音。音频样例可访问：https://speechbot.github.io/pgslm。代码与模型资源见：https://github.com/pytorch/fairseq/tree/main/examples/textless_nlp/pgslm。