Mono-InternVL-1.5 : Vers des modèles linguistiques multimodaux monolithiques moins coûteux et plus rapides

Ce travail se concentre sur les Modèles de Langue Multimodaux Monolithiques (MLLMs), qui intègrent l'encodage visuel et le décodage linguistique dans un seul modèle. Les structures existantes et les stratégies d'apprentissage préalable des MLLMs monolithiques souffrent souvent d'une optimisation instable et d'un oubli catastrophique. Pour relever ces défis, notre idée clé est d'intégrer un nouvel espace de paramètres visuels dans un LLM pré-entraîné, permettant une apprentissage stable des connaissances visuelles à partir de données bruyantes grâce au réglage delta. Sur la base de ce principe, nous présentons d'abord Mono-InternVL, un MLLM monolithique avancé qui incorpore un ensemble d'experts visuels à travers une architecture de mélange multimodal d'experts (mixture-of-experts). De plus, nous concevons une nouvelle méthode d'apprentissage préalable visuelle endogène (EViP) pour Mono-InternVL afin de maximiser ses capacités visuelles par apprentissage progressif. Mono-InternVL obtient des performances compétitives par rapport aux MLLMs existants mais entraîne également des coûts de données relativement élevés. Par conséquent, nous proposons ensuite Mono-InternVL-1.5, un MLLM monolithique moins coûteux et plus performant doté d'une EViP améliorée (EViP++). EViP++ introduit des experts supplémentaires en attention visuelle dans Mono-InternVL-1.5 et réorganise le processus d'apprentissage préalable de manière efficace. Pendant l'inférence, il inclut un noyau CUDA fusionné pour accélérer ses opérations MoE (Mixture of Experts). Avec ces conceptions, Mono-InternVL-1.5 réduit considérablement les coûts d'entraînement et d'inférence tout en maintenant des performances compétitives avec Mono-InternVL. Pour évaluer notre approche, nous menons des expériences approfondies sur 15 benchmarks. Les résultats montrent que Mono-InternVL surpasse les MLLMs monolithiques existants sur 12 des 15 benchmarks, par exemple avec une amélioration de +114 points par rapport à Emu3 sur OCRBench. Comparativement à sa version modulaire, c'est-à-dire InternVL-1.5, Mono-InternVL-1.5 atteint des performances multimodales similaires tout en réduisant la latence du premier jeton jusqu'à 69 %. Le code et les modèles sont disponibles à l'adresse suivante : https://github.com/OpenGVLab/Mono-InternVL.