TextBox 2.0 : Une bibliothèque de génération de texte avec des modèles linguistiques pré-entraînés

Pour faciliter la recherche sur la génération de texte, cet article présente une bibliothèque complète et unifiée, TextBox 2.0, axée sur l'utilisation de modèles de langage pré-entraînés (PLMs). Pour être exhaustive, notre bibliothèque couvre 13 tâches courantes de génération de texte et leurs 83 ensembles de données correspondants, et intègre également 45 PLMs couvrant des modèles généraux, de traduction, chinois, de dialogue, contrôlables, distillés, à base d'invitations (prompting) et légers. Nous avons également mis en œuvre 4 stratégies d'entraînement efficaces et fournis 4 objectifs de génération pour l'entraînement préliminaire de nouveaux PLMs à partir de zéro. Pour être unifiée, nous avons conçu les interfaces afin de soutenir l'ensemble du pipeline de recherche (de la chargement des données à l'entraînement et à l'évaluation), garantissant que chaque étape puisse être réalisée d'une manière unifiée. Malgré sa fonctionnalité riche, notre bibliothèque est facile à utiliser, que ce soit via l'API Python conviviale ou la ligne de commande. Pour valider l'efficacité de notre bibliothèque, nous avons mené des expériences approfondies et illustré quatre types de scénarios de recherche. Le projet est disponible à l'adresse suivante : https://github.com/RUCAIBox/TextBox.