Dans ce travail, nous explorons une approche évolutivement scalable pour construire un modèle de représentation généraliste capable de traiter un nombre illimité de modalités. Nous présentons ONE-PEACE, un modèle hautement extensible comprenant 4 milliards de paramètres, capable d’aligner et d’intégrer de manière fluide les représentations issues de modalités visuelles, auditives et linguistiques. L’architecture de ONE-PEACE repose sur des adaptateurs de modalité, des couches partagées d’attention auto-associative et des réseaux feed-forward spécifiques à chaque modalité (modality FFNs). Ce design permet une extension aisée à de nouvelles modalités en ajoutant simplement des adaptateurs et des FFNs, tout en permettant une fusion multimodale efficace grâce aux couches d’attention auto-associative. Pour pré-entraîner ONE-PEACE, nous avons conçu deux tâches de pré-entraînement indépendantes des modalités : une tâche d’alignement intermodale par contraste et une tâche de débruitage intramodal par contraste, qui permettent simultanément d’aligner les espaces sémantiques entre différentes modalités et de capturer des détails fins à l’intérieur de chaque modalité. Grâce à son architecture évolutivement compatible et à ses tâches de pré-entraînement innovantes, ONE-PEACE possède un potentiel d’extension vers un nombre théoriquement illimité de modalités. Sans recourir à aucun modèle pré-entraîné sur l’image ou le langage pour l’initialisation, ONE-PEACE atteint des résultats de pointe sur une large gamme de tâches unimodales et multimodales, incluant la classification d’images (ImageNet), la segmentation sémantique (ADE20K), la récupération audio-texte (AudioCaps, Clotho), la classification audio (ESC-50, FSD50K, VGGSound), la réponse à des questions audio (AVQA), la récupération image-texte (MSCOCO, Flickr30K) et le repérage visuel (RefCOCO/+/g). Le code est disponible à l’adresse suivante : https://github.com/OFA-Sys/ONE-PEACE.