DocBERT : BERT pour la classification de documents

À notre connaissance, nous présentons la première application de BERT à la classification de documents. Quelques caractéristiques de cette tâche pourraient amener à penser que BERT n'est pas le modèle le plus approprié : les structures syntaxiques sont moins importantes pour les catégories de contenu, les documents peuvent souvent être plus longs que les entrées typiques de BERT, et ils peuvent avoir plusieurs étiquettes. Néanmoins, nous montrons qu'un modèle de classification simple utilisant BERT est capable d'atteindre l'état de l'art sur quatre ensembles de données populaires. Pour atténuer les coûts computationnels associés à l'inférence avec BERT, nous transmettons les connaissances de BERT-large à des LSTM bidirectionnelles plus petites, atteignant une parité avec BERT-base sur plusieurs ensembles de données en utilisant 30 fois moins de paramètres. La contribution principale de notre article est l'amélioration des baselines qui peuvent servir de fondement pour des travaux futurs.