Résumé

Les tokens visuels consomment des ressources computationnelles importantes dans les modèles multimodaux à grande échelle (MLLM), ce qui compromet significativement leur efficacité. Des travaux récents ont cherché à améliorer l’efficacité en compressant les tokens visuels durant l’entraînement, soit en modifiant les composants du modèle, soit en introduisant des paramètres supplémentaires. Toutefois, ces approches négligent souvent l’augmentation de la difficulté d’apprentissage induite par cette compression, car l’espace des paramètres du modèle peine à s’adapter rapidement aux perturbations importantes observées dans l’espace des caractéristiques résultant de la compression des tokens. Dans ce travail, nous proposons de développer des MLLM efficaces via un cadre d’apprentissage progressif appelé Distillation de cohérence progressive (EPIC). Plus précisément, en décomposant les perturbations de l’espace des caractéristiques causées par la compression des tokens selon les dimensions « par token » et « par couche », nous introduisons respectivement la distillation de cohérence des tokens et la distillation de cohérence des couches, dans le but de réduire la difficulté d’apprentissage en exploitant les indications fournies par un modèle enseignant et en suivant une trajectoire d’apprentissage progressive. Des expériences étendues démontrent l’efficacité supérieure, la robustesse et les capacités de généralisation de notre cadre proposé.