Nous présentons un nouveau réseau multimodal multitâche ainsi qu’un algorithme d’entraînement associé. La méthode est capable d’ingérer des données provenant d’environ 12 modalités différentes : images, vidéos, sons, textes, profondeurs, nuages de points, séries temporelles, données tabulaires, graphes, radiographies, infrarouges, capteurs IMU et hyperspectrales. L’approche proposée utilise des tokeniseurs spécialisés par modalité, une architecture partagée de type transformer et des mécanismes d’attention croisée afin de projeter les données issues de différentes modalités dans un espace d’embeddings unifié. Elle traite les scénarios multimodaux et multitâches en intégrant des têtes de tâches spécifiques à chaque modalité, adaptées aux différentes tâches à réaliser. Nous proposons une nouvelle stratégie de pré-entraînement basée sur un changement itératif de modalité pour initialiser le réseau, ainsi qu’un algorithme d’entraînement qui équilibre l’entraînement conjoint complet sur toutes les modalités avec l’entraînement par paires de modalités. Nous fournissons une évaluation exhaustive sur 25 jeux de données issus de 12 modalités différentes, et démontrons des performances de pointe, mettant ainsi en évidence l’efficacité de l’architecture proposée, de la stratégie de pré-entraînement et de l’entraînement multitâche adapté.