Lorsque nous observons notre environnement et accomplissons des tâches complexes, la manière dont nous percevons et traitons sélectivement ce que nous voyons est cruciale. Toutefois, l’absence de mécanisme de recherche visuelle dans les modèles linguistiques multimodaux actuels (MLLMs) limite leur capacité à se concentrer sur des détails visuels importants, en particulier lorsqu’ils traitent des images à haute résolution ou fortement chargées visuellement. Pour remédier à ce problème, nous introduisons V, un mécanisme de recherche visuelle guidé par un modèle linguistique (LLM), qui exploite les connaissances du monde intégrées dans les LLMs pour effectuer des requêtes visuelles de manière efficace. Lorsqu’il est combiné à un MLLM, ce mécanisme améliore le raisonnement collaboratif, la compréhension contextuelle et la précision dans l’identification d’éléments visuels spécifiques. Cette intégration donne naissance à une nouvelle méta-architecture pour les MLLMs, nommée Show, sEArch, and TelL (SEAL). Nous avons également développé VBench, un benchmark spécifiquement conçu pour évaluer la capacité des MLLMs à traiter des images à haute résolution et à se concentrer sur des détails visuels. Notre étude met en évidence la nécessité d’intégrer des capacités de recherche visuelle dans les systèmes multimodaux. Le code est disponible à l’adresse suivante : https://github.com/penghao-wu/vstar.