Résumé

Les modèles linguistiques à grande échelle multimodaux (MLLM) entraînés grâce à une adaptation des instructions visuelles ont atteint des performances remarquables sur une large variété de tâches, mais restent limités dans les tâches centrées sur la vision, telles que le comptage d’objets ou le raisonnement spatial. Nous attribuons cet écart au paradigme de supervision dominé par le texte, qui ne fournit qu’une guidance indirecte au chemin visuel et conduit souvent les MLLM à ignorer les détails visuels fins pendant l’entraînement. Dans cet article, nous proposons VIRAL (VIsual Representation ALignment), une stratégie de régularisation simple mais efficace, qui aligne les représentations visuelles internes des MLLM avec celles des modèles fondamentaux de vision pré-entraînés (VFMs). En imposant explicitement cet alignement, VIRAL permet au modèle non seulement de conserver les détails visuels essentiels provenant de l’encodeur visuel d’entrée, mais aussi de compléter sa connaissance visuelle grâce aux VFMs, renforçant ainsi sa capacité à raisonner sur des entrées visuelles complexes. Nos expériences démontrent des améliorations constantes sur toutes les tâches, sur des benchmarks multimodaux largement utilisés. En outre, nous menons des études d’ablation approfondies afin de valider les choix clés de conception sous-jacents à notre cadre. Nous pensons que cette découverte simple ouvre une voie importante pour une intégration efficace de l’information visuelle dans l’entraînement des MLLM.