HyperAIHyperAI

Command Palette

Search for a command to run...

TextBox 2.0 : Une bibliothèque de génération de texte avec des modèles linguistiques pré-entraînés

Tianyi Tang; Junyi Li; Zhipeng Chen; Yiwen Hu; Zhuohao Yu; Wenxun Dai; Zican Dong; Xiaoxue Cheng; Yuhao Wang; Wayne Xin Zhao; Jian-Yun Nie; Ji-Rong Wen

Résumé

Pour faciliter la recherche sur la génération de texte, cet article présente une bibliothèque complète et unifiée, TextBox 2.0, axée sur l'utilisation de modèles de langage pré-entraînés (PLMs). Pour être exhaustive, notre bibliothèque couvre 13 tâches courantes de génération de texte et leurs 83 ensembles de données correspondants, et intègre également 45 PLMs couvrant des modèles généraux, de traduction, chinois, de dialogue, contrôlables, distillés, à base d'invitations (prompting) et légers. Nous avons également mis en œuvre 4 stratégies d'entraînement efficaces et fournis 4 objectifs de génération pour l'entraînement préliminaire de nouveaux PLMs à partir de zéro. Pour être unifiée, nous avons conçu les interfaces afin de soutenir l'ensemble du pipeline de recherche (de la chargement des données à l'entraînement et à l'évaluation), garantissant que chaque étape puisse être réalisée d'une manière unifiée. Malgré sa fonctionnalité riche, notre bibliothèque est facile à utiliser, que ce soit via l'API Python conviviale ou la ligne de commande. Pour valider l'efficacité de notre bibliothèque, nous avons mené des expériences approfondies et illustré quatre types de scénarios de recherche. Le projet est disponible à l'adresse suivante : https://github.com/RUCAIBox/TextBox.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp