Shijian Deng Kai Wang Tianyu Yang Harsh Singh Yapeng Tian

Résumé

Les progrès récents dans l'amélioration autonome des grands modèles linguistiques (LLM) ont permis d'optimiser efficacement leurs capacités sans entraîner une augmentation significative des coûts, notamment en termes d'effort humain. Bien que ce domaine soit encore relativement jeune, son extension au domaine multimodal offre un potentiel considérable pour exploiter des sources de données diversifiées et développer des modèles d'amélioration autonome plus généraux. Cette revue constitue la première synthèse exhaustive de l'amélioration autonome dans les grands modèles linguistiques multimodaux (MLLM). Nous proposons une présentation structurée de la littérature actuelle et examinons les méthodes sous trois angles : 1) la collecte de données, 2) l'organisation des données, et 3) l'optimisation du modèle, afin de faciliter le développement futur de l'amélioration autonome dans les MLLM. Nous incluons également les évaluations couramment utilisées ainsi que les applications en aval. Enfin, nous concluons en présentant les défis ouverts et les perspectives de recherche à venir.