Résumé

Nous présentons MM1.5, une nouvelle famille de modèles linguistiques à grande échelle multimodaux (MLLM), conçus pour améliorer les capacités en compréhension d’images riches en texte, en référencement visuel et en ancrage, ainsi qu’en raisonnement sur plusieurs images. S’appuyant sur l’architecture MM1, MM1.5 adopte une approche centrée sur les données pour l’entraînement des modèles, en explorant de manière systématique l’impact de diverses combinaisons de données tout au long du cycle de vie d’entraînement. Cela inclut des données de haute qualité issues de reconnaissance optique de caractères (OCR) et des légendes synthétiques pour le pré-entraînement continu, ainsi qu’un ensemble de données optimisé pour le réglage par instruction visuelle (visual instruction-tuning) lors du finetuning supervisé. Nos modèles varient de 1 milliard à 30 milliards de paramètres, comprenant à la fois des variantes à densité constante et des variantes à mélange d’experts (MoE), et démontrent que des stratégies soigneuses de curation des données et d’entraînement peuvent produire de performances remarquables même à petite échelle (1B et 3B). En outre, nous introduisons deux variantes spécialisées : MM1.5-Video, conçu pour la compréhension de vidéos, et MM1.5-UI, adapté à la compréhension des interfaces utilisateur mobiles. Grâce à des études empiriques approfondies et des analyses d’ablation, nous fournissons des éclairages détaillés sur les processus d’entraînement et les décisions qui ont guidé nos conceptions finales, offrant ainsi des orientations précieuses pour les recherches futures en développement de MLLM.