Comment ajuster finement BERT pour la classification de texte ?

Le pré-entraînement des modèles de langage s'est avéré utile pour l'apprentissage de représentations linguistiques universelles. En tant que modèle de pré-entraînement de modèles de langage à la pointe de la technologie, BERT (Bidirectional Encoder Representations from Transformers) a obtenu des résultats remarquables dans de nombreuses tâches de compréhension linguistique. Dans cet article, nous menons des expériences exhaustives pour examiner différentes méthodes d'ajustement fin (fine-tuning) de BERT sur la tâche de classification de texte et proposons une solution générale pour l'ajustement fin de BERT. Finalement, la solution proposée obtient de nouveaux résultats à la pointe de la technologie sur huit ensembles de données largement étudiés en classification de texte.