Mesure de la compréhension massive multitasque de la langue

Nous proposons un nouveau test pour mesurer la précision multitasche d'un modèle de texte. Ce test couvre 57 tâches, incluant les mathématiques élémentaires, l'histoire des États-Unis, l'informatique, le droit et bien d'autres domaines. Pour obtenir une haute précision à ce test, les modèles doivent posséder une vaste connaissance du monde et une capacité de résolution de problèmes. Nous constatons que, bien que la plupart des modèles récents aient une précision proche du hasard, le modèle GPT-3 le plus volumineux améliore cette précision de presque 20 points de pourcentage par rapport au hasard en moyenne. Cependant, sur chacune des 57 tâches, les meilleurs modèles nécessitent encore des améliorations substantielles avant de pouvoir atteindre une précision d'expert. Les performances des modèles sont également inégales et ils ignorent souvent lorsqu'ils se trompent. Pire encore, ils ont toujours une précision proche du hasard sur certains sujets socialement importants tels que la morale et le droit. En évaluant de manière exhaustive l'étendue et la profondeur de la compréhension académique et professionnelle d'un modèle, notre test peut être utilisé pour analyser les modèles sur de nombreuses tâches et identifier des lacunes importantes.