MultiFiT : Optimisation efficace du réglage fin de modèles linguistiques multilingues

Les modèles de langage préentraînés sont particulièrement prometteurs pour les langues à ressources limitées, car ils n'exigent que des données non étiquetées. Cependant, l'entraînement des modèles existants nécessite d'énormes quantités de calcul, tandis que les modèles préentraînés multilingues sous-performent souvent sur les langues à ressources limitées. Nous proposons le Multi-lingual language model Fine-Tuning (MultiFiT) pour permettre aux praticiens d'entraîner et de peaufiner efficacement des modèles de langage dans leur propre langue. De plus, nous proposons une méthode zéro-shot utilisant un modèle préentraîné multilingue existant. Nous évaluons nos méthodes sur deux ensembles de données largement utilisés pour la classification croisée où elles surpassent les modèles préentraînés avec des ordres de grandeur supérieurs en termes de données et de calcul. Nous mettons à disposition tous les modèles et le code.