Mehrmodale große Sprachmodelle (MLLMs) haben sich als effizient erwiesen, um natürliche Sprache mit visuellen Informationen zu integrieren und damit multimodale Aufgaben zu bewältigen. Dennoch leiden MLLMs weiterhin unter einer grundlegenden Einschränkung: Halluzinationen, bei denen sie fehlerhafte oder erfundene Informationen generieren. In diesem Paper greifen wir das Problem der Halluzinationen in MLLMs aus einer neuartigen Perspektive des Repräsentationslernens an. Zunächst analysieren wir die Verteilung der Repräsentationen von textuellen und visuellen Token in MLLMs und identifizieren zwei zentrale Beobachtungen: 1) Es besteht eine erhebliche Diskrepanz zwischen den textuellen und visuellen Repräsentationen, was auf eine unzureichende Ausrichtung zwischen den Modalitäten hinweist; 2) Repräsentationen von Texten, die Halluzinationen enthalten, sind mit solchen, die keine Halluzinationen enthalten, vermischt, was deren Unterscheidung erschwert. Diese beiden Beobachtungen inspirieren uns zu einem einfachen, jedoch wirksamen Ansatz zur Minderung von Halluzinationen. Konkret integrieren wir kontrastives Lernen in MLLMs und nutzen Texte mit Halluzinationen als sogenannte „hard negative“-Beispiele. Dadurch werden die Repräsentationen von nicht-halluzinatorischem Text und visuellen Proben natürlicherweise näher zueinandergebracht, während die Repräsentationen von nicht-halluzinatorischem und halluzinatorischem Text voneinander getrennt werden. Wir evaluieren unsere Methode quantitativ und qualitativ und zeigen ihre Wirksamkeit bei der Reduktion von Halluzinationsfällen sowie der Verbesserung der Leistung über mehrere Benchmarks hinweg. Auf dem MMhal-Bench-Benchmark erreicht unsere Methode eine Verbesserung um 34,66 %/29,5 % gegenüber dem Baseline-Modell MiniGPT-4/LLaVA. Unser Code ist unter https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl verfügbar.