Les Modèles Linguistiques Fine-Tunés Sont des Apprenants Zéro-Shot

Cet article explore une méthode simple visant à améliorer les capacités d’apprentissage zéro-shot des modèles linguistiques. Nous démontrons que l’ajustement par instructions — c’est-à-dire le fine-tuning de modèles linguistiques sur une collection de tâches décrites à l’aide d’instructions — améliore de manière significative les performances en apprentissage zéro-shot sur des tâches non vues.Nous prenons un modèle pré-entraîné linguistique de 137 milliards de paramètres et l’ajustons par instructions sur plus de 60 tâches NLP formulées à l’aide de modèles d’instructions en langage naturel. Nous évaluons ce modèle ajusté par instructions, que nous appelons FLAN, sur des types de tâches inédits. FLAN améliore de manière significative les performances de sa version non modifiée et dépasse le GPT-3 zéro-shot de 175 milliards de paramètres sur 20 des 25 tâches testées. FLAN surpasse même de manière marquée le GPT-3 en few-shot sur ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA et StoryCloze. Des études d’ablation révèlent que le nombre de jeux de données utilisés pour le fine-tuning, l’échelle du modèle et l’usage d’instructions en langage naturel sont des facteurs clés du succès de l’ajustement par instructions.