Command Palette
Search for a command to run...
V*: Geleitete visuelle Suche als zentrale Mechanismus in multimodalen LLMs
V*: Geleitete visuelle Suche als zentrale Mechanismus in multimodalen LLMs
Penghao Wu Saining Xie
Zusammenfassung
Wenn wir uns umschauen und komplexe Aufgaben bewältigen, ist entscheidend, wie wir wahrnehmen und gezielt das Wahrnehmte verarbeiten. Doch die fehlende visuelle Suchfunktion in aktuellen multimodalen großen Sprachmodellen (MLLMs) behindert deren Fähigkeit, sich auf wichtige visuelle Details zu konzentrieren, insbesondere bei der Verarbeitung von hochauflösenden und visuell überfüllten Bildern. Um dieses Problem zu lösen, stellen wir V vor – einen vom LLM gesteuerten visuellen Suchmechanismus, der das Weltwissen der LLMs für eine effiziente visuelle Abfrage nutzt. In Kombination mit einem MLLM verbessert dieser Mechanismus die kooperative Schlussfolgerung, das kontextuelle Verständnis und die präzise Identifizierung spezifischer visueller Elemente. Diese Integration führt zu einer neuen Meta-Architektur für MLLMs, die als Show, sEArch, and TelL (SEAL) bezeichnet wird. Zudem entwickeln wir VBench, einen speziell für die Bewertung der Fähigkeit von MLLMs zur Verarbeitung hochauflösender Bilder und zur Fokussierung auf visuelle Details konzipierten Benchmark. Unsere Studie unterstreicht die Notwendigkeit, visuelle Suchfähigkeiten in multimodale Systeme zu integrieren. Der Quellcode ist verfügbar unter: https://github.com/penghao-wu/vstar.