Les modèles linguistiques à grande échelle multimodaux (MLLM) ont démontré une capacité efficace à intégrer le langage naturel et les informations visuelles afin de traiter des tâches multimodales. Toutefois, les MLLM restent confrontés à une limitation fondamentale : les hallucinations, c’est-à-dire la tendance à générer des informations erronées ou fictives. Dans ce travail, nous abordons les hallucinations dans les MLLM sous un nouvel angle fondé sur l’apprentissage de représentations. Nous analysons d’abord la distribution des représentations des tokens textuels et visuels au sein des MLLM, mettant en évidence deux observations importantes : 1) un écart significatif existe entre les représentations textuelles et visuelles, indiquant un alignement intermodale insatisfaisant ; 2) les représentations des textes contenant ou non des hallucinations sont entremêlées, rendant leur distinction difficile. Ces deux observations nous inspirent une méthode simple mais efficace pour atténuer les hallucinations. Plus précisément, nous introduisons l’apprentissage contrastif dans les MLLM en utilisant les textes contenant des hallucinations comme exemples négatifs difficiles, ce qui permet naturellement de rapprocher les représentations des textes non hallucinatoires et des échantillons visuels, tout en éloignant celles des textes non hallucinatoires et des textes hallucinatoires. Nous évaluons notre méthode de manière quantitative et qualitative, démontrant son efficacité à réduire la fréquence des hallucinations et à améliorer les performances sur plusieurs benchmarks. Sur le benchmark MMhal-Bench, notre méthode obtient une amélioration de 34,66 % / 29,5 % par rapport à la base MiniGPT-4 / LLaVA. Le code est disponible à l’adresse suivante : https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl.