Universelles Feinjustieren von Sprachmodellen für die Textklassifizierung

Die induktive Transfer-Learning-Methode hat den Bereich der Computer Vision erheblich beeinflusst, aber bestehende Ansätze im Bereich der natürlichen Sprachverarbeitung (NLP) erfordern weiterhin aufgabenbezogene Anpassungen und das Training von Grund auf. Wir schlagen Universal Language Model Fine-tuning (ULMFiT) vor, eine effektive Transfer-Learning-Methode, die auf jede Aufgabe im NLP angewendet werden kann, und stellen Techniken vor, die für das Feinabstimmen eines Sprachmodells entscheidend sind. Unsere Methode übertrifft den aktuellen Stand der Technik bei sechs Textklassifikationsaufgaben erheblich, wobei sie den Fehler in den meisten Datensätzen um 18-24 % reduziert. Darüber hinaus erreicht sie mit nur 100 etikettierten Beispielen die Leistung des Trainings von Grund auf mit 100-mal mehr Daten. Wir stellen unsere vortrainierten Modelle und Code als Open Source zur Verfügung.