Wie man BERT für die Textklassifizierung feinjustiert?

Die Vortrainierung von Sprachmodellen hat sich als nützlich erwiesen, um universelle Sprachrepräsentationen zu erlernen. Als ein zustandsbezogenes Modell zur Vortrainierung von Sprachmodellen hat BERT (Bidirectional Encoder Representations from Transformers) in vielen Sprachverstehensaufgaben erstaunliche Ergebnisse erzielt. In dieser Arbeit führen wir umfassende Experimente durch, um verschiedene Feinabstimmungsmethoden von BERT für die Textklassifizierung zu untersuchen und eine allgemeine Lösung für die Feinabstimmung von BERT bereitzustellen. Schließlich erreicht die vorgeschlagene Lösung neue Stand der Technik-Ergebnisse auf acht weit verbreiteten Textklassifikationsdatensätzen.