Affinage d'un Modèle de Langue Universel pour la Classification de Texte

L'apprentissage par transfert inductif a considérablement influencé la vision par ordinateur, mais les approches existantes en traitement du langage naturel (NLP) nécessitent encore des modifications spécifiques à la tâche et un apprentissage à partir de zéro. Nous proposons le réglage fin universel des modèles de langage (ULMFiT), une méthode d'apprentissage par transfert efficace qui peut être appliquée à toute tâche en NLP, et nous introduisons des techniques essentielles pour le réglage fin d'un modèle de langage. Notre méthode surpasse significativement l'état de l'art dans six tâches de classification de texte, réduisant l'erreur de 18 à 24 % dans la majorité des jeux de données. De plus, avec seulement 100 exemples étiquetés, elle atteint les performances d'un apprentissage à partir de zéro sur 100 fois plus de données. Nous mettons nos modèles préformés et notre code à disposition sous licence open source.