MTI-Net : Réseaux d'interaction de tâches multi-échelle pour l'apprentissage multi-tâches

Dans cet article, nous mettons en avant l'importance de prendre en compte les interactions entre tâches à plusieurs échelles lors de la distillation d'informations de tâches dans un cadre d'apprentissage multi-tâches. Contrairement à l'idée reçue, nous démontrons que des tâches présentant une forte affinité à une échelle donnée ne sont pas nécessairement conservées à d'autres échelles, et inversement. Nous proposons une nouvelle architecture, nommée MTI-Net, qui s'appuie sur cette observation en trois points. Premièrement, elle modélise explicitement les interactions entre tâches à chaque échelle grâce à une unité de distillation multi-échelle et multi-modale. Deuxièmement, elle propage les informations de tâches distillées des échelles inférieures vers les échelles supérieures via un module de propagation de caractéristiques. Troisièmement, elle agrège les caractéristiques de tâches affinées issues de toutes les échelles à l'aide d'une unité d'agrégation de caractéristiques afin de produire les prédictions finales par tâche. Des expérimentations étendues sur deux jeux de données de marquage dense multi-tâches montrent que, contrairement aux approches antérieures, notre modèle multi-tâches exploite pleinement le potentiel de l'apprentissage multi-tâches : une empreinte mémoire réduite, un nombre moindre d'opérations calculatoires, et une meilleure performance par rapport à l'apprentissage mono-tâche. Le code est mis à disposition publiquement : https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch.