TextBox 2.0: Eine Textgenerierbibliothek mit vortrainierten Sprachmodellen

Um die Forschung zur Textgenerierung zu erleichtern, präsentiert dieser Artikel eine umfassende und einheitliche Bibliothek, TextBox 2.0, die sich auf den Einsatz von vortrainierten Sprachmodellen (PLMs) konzentriert. Um umfassend zu sein, umfasst unsere Bibliothek 13 gängige Textgenerierungsaufgaben und deren entsprechende 83 Datensätze sowie 45 PLMs, die allgemeine, Übersetzung, chinesische, dialogbasierte, steuerbare, distillierte, promptbasierte und leichtgewichtige PLMs abdecken. Wir implementieren zudem vier effiziente Trainingsstrategien und stellen vier Generierungsziele für das Vortrainieren neuer PLMs aus der Grundlage bereit. Um einheitlich zu sein, entwerfen wir die Schnittstellen so, dass sie den gesamten Forschungsprozess (von Datenladung bis hin zum Training und zur Bewertung) unterstützen, wodurch sicher gestellt wird, dass jeder Schritt auf einheitliche Weise durchgeführt werden kann. Trotz der vielfältigen Funktionalität ist unsere Bibliothek einfach zu bedienen, sei es über die benutzerfreundliche Python-API oder die Kommandozeile. Um die Effektivität unserer Bibliothek zu überprüfen, führen wir umfangreiche Experimente durch und illustrieren vier Arten von Forschungsszenarien. Das Projekt wird unter folgendem Link veröffentlicht: https://github.com/RUCAIBox/TextBox.