摘要
尽管约束性自然语言生成领域取得了快速进展，但针对词汇在词法、语义和/或语音层面受到约束的语言模型所蕴含潜力的研究仍十分有限。我们发现，即便在强约束条件下，大多数语言模型依然能够生成极具说服力的文本。为此，我们提出一种简单且普适性强的技术：在生成任何文本单元之前，通过组合式地应用过滤函数对语言模型的词汇表进行处理，从而实现对模型输出的调控。该方法即插即用，无需对模型本身进行任何修改。为展示该技术的价值，我们开发了一款易于使用的AI写作助手——约束文本生成工作室（Constrained Text Generation Studio，简称CTGS）。CTGS支持用户自由组合多种约束条件，生成或选择满足特定要求的文本，例如禁止使用某个字母、强制生成的词语具有特定音节数量，或要求词语为另一词语的部分变位词（partial anagram）等。我们还构建了一个全新的散文语料库，其中所有文本均不包含字母“e”。实验结果表明，在该数据集上，我们的方法在性能上显著优于仅通过微调（fine-tuning）的基线方案。此外，我们还推出了一个基于Hugging Face Spaces的网页应用，名为Gadsby，用于展示该技术的实际应用效果。相关代码已开源，欢迎访问：https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio