マルチモーダル大規模言語モデル（MLLM）は、自然言語と視覚情報の効率的な統合により、マルチモーダルタスクの処理が可能であることが示されており、近年の注目を集めています。しかし、MLLMには依然として幻覚（hallucination）という根本的な課題が存在しており、モデルが誤ったまたは架空の情報を生成しがちな傾向があります。本研究では、表現学習（representation learning）という新たな視点からMLLMにおける幻覚問題に取り組みます。まず、MLLMにおけるテキストトークンと視覚トークンの表現分布を分析した結果、以下の2つの重要な発見を得ました。1）テキスト表現と視覚表現の間に顕著なギャップが存在し、モーダル間の表現の整合性が不十分であることが明らかになった。2）幻覚を含むテキストと含まないテキストの表現が混同（entangled）しており、両者を明確に区別することが困難であることが判明した。これらの観察から、幻覚を緩和するシンプルかつ効果的な手法の提案が可能になりました。具体的には、MLLMに対比学習（contrastive learning）を導入し、幻覚を含むテキストをハードネガティブ例（hard negative examples）として用いることで、非幻覚的テキスト表現と視覚サンプルの表現を自然に近づけつつ、非幻覚的テキスト表現と幻覚的テキスト表現の間を遠ざけるという効果を実現しました。本手法は定量的および定性的な評価を通じて検証され、複数のベンチマークにおいて幻覚の発生を有意に低減し、性能の向上を示しました。特にMMhal-Benchベンチマークにおいて、ベースラインモデルであるMiniGPT-4およびLLaVAに対して、それぞれ34.66%および29.5%の性能向上を達成しました。本研究のコードは、https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl にて公開されています。