L’utilisation de données annotées sensibles à la tâche comme signaux supervisés pour accompagner l’apprentissage auto-supervisé sur de grandes quantités de données non étiquetées est devenue une tendance émergente dans le pré-entraînement des modèles linguistiques. Les études existantes montrent que l’apprentissage multi-tâches basé sur de grandes tâches supervisées souffre souvent d’effets négatifs entre les tâches. Pour relever ce défi, nous proposons un cadre de pré-entraînement multi-tâches guidé par des préfixes de tâche, afin d’explorer les relations entre les tâches. Nous menons des expériences approfondies sur 40 jeux de données, démontrant que notre modèle peut non seulement servir de fondation solide pour une large gamme de tâches, mais aussi s’avérer efficace comme outil d’analyse des relations entre tâches. Les relations entre tâches révélées par les préfixes s’alignent étroitement avec les performances d’apprentissage transféré entre les tâches. Elles suggèrent également des directions pour l’augmentation de données par l’ajout de tâches complémentaires, permettant à notre modèle d’atteindre des résultats équivalents à ceux des humains sur les classements de raisonnement du sens commun. Le code est disponible à l’adresse suivante : https://github.com/cooelf/CompassMTL