HallusionBench: 大規模視覚言語モデルにおける絡み合う言語の幻覚と視覚錯覚のための高度な診断スイート

私たちは、画像コンテクスト推論の評価を目的とした包括的なベンチマークであるHallusionBenchを紹介します。このベンチマークは、GPT-4V（Vision）、Gemini Pro Vision、Claude 3、LLaVA-1.5などの最先端の大規模視覚言語モデル（LVLMs）に対して、視覚データの微妙な理解と解釈に重点を置くことで大きな課題を提示します。HallusionBenchには、人間の専門家によって慎重に作成された346枚の画像と1129個の質問が含まれています。これらの視覚的な質問には新しい構造が導入されており、コントロールグループを設定することを目指しています。この構造により、モデルの応答傾向、論理的一貫性、および様々な失敗モードについて定量的な分析を行うことが可能になります。私たちの評価では、15種類の異なるモデルをHallusionBenchでベンチマークし、最先端のGPT-4Vが31.42%の質問ペア精度を達成したことを示しました。他のすべての評価対象モデルは精度が16%未満となっています。さらに、私たちの分析は言語的幻覚（language hallucination）や視覚的錯覚（visual illusion）などの観察された失敗モードだけでなく、それらの落とし穴に対する理解を深めることにも貢献しています。HallusionBench内の包括的な事例研究は、LVLMsにおける幻覚と錯覚の課題について明確に示しています。これらの洞察に基づいて、将来の改善に向けて潜在的な道筋を提案しています。ベンチマークとコードベースは以下のURLからアクセスできます: https://github.com/tianyi-lab/HallusionBench.