Jinming Wu Zihao Deng Wei Li Yiding Liu Bo You Bo Li Zejun Ma Ziwei Liu

Résumé

Déploiement robuste de grands modèles multimodaux (LMMs) dans des scénarios réelsnécessite l'accès à des sources de connaissances externes, en raison de la complexité et de la nature dynamique des informations du monde réel. Les approches existantes, telles que la génération augmentée par la recherche (RAG) et les agents de recherche pilotés par des prompts, reposent sur des pipelines rigides, entraînant souvent des comportements de recherche inefficaces ou excessifs. Nous présentons MMSearch-R1, le premier cadre d'apprentissage par renforcement intégral qui permet aux LMMs d'effectuer des recherches à la demande et en plusieurs tours dans des environnements Internet réels. Notre cadre intègre à la fois des outils de recherche d'images et de texte, permettant au modèle de déterminer quand et comment les invoquer, guidé par une récompense basée sur le résultat avec une pénalité pour la recherche. Pour soutenir l'entraînement, nous collectons un ensemble de données VQA multimodal de recherche via un pipeline semi-automatisé couvrant divers besoins en connaissances visuelles et textuelles, et nous élaborons un sous-ensemble équilibré en termes de recherche comprenant à la fois des échantillons nécessitant une recherche et des échantillons n'en nécessitant pas. Cela s'avère essentiel pour façonner un comportement de recherche efficace et à la demande. Des expériences approfondies sur des tâches VQA intensives en connaissances et axées sur l'information montrent que notre modèle non seulement surpassent les baselines RAG basées sur le même modèle, mais également atteint les performances d'un modèle RAG plus grand tout en réduisant les appels de recherche de plus de 30%. Nous analysons également les principales découvertes empiriques pour offrir des insights opérationnels destinés à avancer la recherche en matière de recherche multimodale.