2 个月前

TextBox 2.0:基于预训练语言模型的文本生成库

Tianyi Tang; Junyi Li; Zhipeng Chen; Yiwen Hu; Zhuohao Yu; Wenxun Dai; Zican Dong; Xiaoxue Cheng; Yuhao Wang; Wayne Xin Zhao; Jian-Yun Nie; Ji-Rong Wen
TextBox 2.0:基于预训练语言模型的文本生成库
摘要

为了促进文本生成领域的研究,本文介绍了一个全面且统一的库——TextBox 2.0,专注于预训练语言模型(PLMs)的应用。为了实现全面性,我们的库涵盖了13种常见的文本生成任务及其对应的83个数据集,并进一步整合了45种PLMs,包括通用型、翻译型、中文型、对话型、可控型、蒸馏型、提示型和轻量级PLMs。我们还实现了4种高效的训练策略,并提供了4种生成目标,用于从零开始预训练新的PLMs。为了实现统一性,我们设计了支持整个研究流程(从数据加载到训练和评估)的接口,确保每个步骤都能以统一的方式完成。尽管功能丰富,但使用我们的库非常方便,既可以通过友好的Python API进行操作,也可以通过命令行进行使用。为了验证我们库的有效性,我们进行了广泛的实验,并展示了四种类型的研究场景。该项目已发布在以下链接:https://github.com/RUCAIBox/TextBox。

TextBox 2.0:基于预训练语言模型的文本生成库 | 最新论文 | HyperAI超神经