Nous présentons Any-Modality Augmented Language Model (AnyMAL), un modèle unifié capable de raisonner à partir de signaux provenant de diverses modalités d’entrée (texte, image, vidéo, audio, capteur de mouvement IMU) et de générer des réponses textuelles. AnyMAL s’inspire des puissantes capacités de raisonnement basées sur le texte des modèles de langage d’avant-garde (LLMs), notamment LLaMA-2 (70B), et convertit les signaux spécifiques à chaque modalité vers un espace textuel commun grâce à un module d’alignement pré-entraîné. Pour renforcer davantage les capacités du modèle multimodal, nous procédons à un ajustage fin (fine-tuning) en utilisant un ensemble d’instructions multimodales collectées manuellement, couvrant une large diversité de sujets et de tâches allant au-delà des simples questions-réponses. Une analyse empirique approfondie, combinant évaluations humaines et automatiques, est menée, démontrant ainsi des performances de pointe sur diverses tâches multimodales.