AUTOHALLUSION: Automatische Generierung von Halluzinationsbenchmarks für Vision-Sprachmodelle

Große visuelle Sprachmodelle (LVLMs) erzeugen Halluzinationen: bestimmte Kontexthinweise in einem Bild können das Sprachmodul dazu veranlassen, übermäßig selbstbewusst und fehlerhaft zu argumentieren, wenn es sich um abnorme oder hypothetische Objekte handelt. Obwohl einige Benchmarks entwickelt wurden, um Halluzinationen in LVLMs zu untersuchen, basieren diese hauptsächlich auf manuell erstellten Spezialfällen, deren Fehlermuster sich kaum generalisieren lassen. Zudem könnte das Feinjustieren dieser Modelle ihre Gültigkeit untergraben. Diese Überlegungen motivieren uns, den ersten Ansatz zur automatischen Benchmark-Erstellung, AUTOHALLUSION, zu entwickeln. AUTOHALLUSION nutzt einige grundlegende Strategien, um vielfältige Halluzinationsbeispiele zu schaffen. Es untersucht die Sprachmodule in LVLMs auf Kontexthinweise und verwendet diese, um Bilder durch folgende Methoden zu synthetisieren: (1) Hinzufügen von Objekten, die im gegebenen Kontext abnorm sind; (2) bei zwei gleichzeitig auftretenden Objekten eines beibehalten und das andere entfernen; oder (3) Entfernen von Objekten, die eng mit den Kontexthinweisen verbunden sind. Anschließend generiert es bildbasierte Fragen, deren korrekte Antworten im Widerspruch zum Vorwissen des Sprachmoduls stehen. Ein Modell muss kontextuelle Verzerrungen und Ablenkungen überwinden, um auf die richtigen Antworten zu kommen; falsche oder inkonsistente Antworten deuten auf Halluzinationen hin. AUTOHALLUSION ermöglicht es uns, neue Benchmarks mit minimalen Kosten zu erstellen und damit die Fragilität manuell erstellter Benchmarks zu überwinden. Es legt zudem häufige Fehlermuster und Gründe offen, was wichtige Erkenntnisse für die Detektion, Vermeidung oder Steuerung von Halluzinationen liefert. Umfassende Evaluierungen führender LVLMs wie GPT-4V(ision), Gemini Pro Vision, Claude 3 und LLaVA-1.5 zeigen eine Erfolgsrate von 97,7 % und 98,7 % bei der Induktion von Halluzinationen in synthetischen und realweltlichen Datensätzen von AUTOHALLUSION. Dies bahnt den Weg für einen langfristigen Kampf gegen Halluzinationen.