أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرتها على دمج المعلومات النصية والبصرية بشكل فعّال لمعالجة المهام متعددة الوسائط. ومع ذلك، ما زالت هذه النماذج تواجه قيدًا جوهريًا يتمثل في ظاهرة التخيلات (hallucinations)، حيث تميل إلى إنتاج معلومات خاطئة أو مُختلقة. في هذا البحث، نعالج مشكلة التخيلات في النماذج متعددة الوسائط من منظور جديد متعلق بتعلم التمثيل (representation learning). قمنا أولًا بتحليل توزيع التمثيلات الخاصة بالرموز النصية والبصرية في النموذج MLLM، ما كشف عن نتائج مهمة: 1) وجود فجوة كبيرة بين التمثيلات النصية والبصرية، مما يشير إلى عدم كفاية التوافق بين الوسائط المختلفة؛ 2) تداخل التمثيلات الخاصة بالنصوص التي تحتوي على خيالات والنصوص التي لا تحتوي عليها، مما يجعل من الصعب التمييز بينهما. هذه الملاحظات تُلهمنا بأسلوب بسيط وفعال لتقليل التخيلات. وبشكل خاص، نُدخل تعلم التمييز (contrastive learning) إلى نماذج MLLM، ونستخدم النصوص التي تحتوي على خيالات كأمثلة سلبية صعبة (hard negative examples)، مما يُسهم بشكل طبيعي في إقامة تماسك أكبر بين تمثيلات النصوص غير الخيالية والعينات البصرية، في حين يُبعد تمثيلات النصوص الخيالية عن تلك غير الخيالية. قمنا بتقييم طريقة العمل لدينا من حيث الكمية والجودة، وبيّنا فعاليتها في تقليل حدوث التخيلات وتحسين الأداء عبر عدة معايير معيارية. على معيار MMhal-Bench، حققت طريقتنا تحسنًا بنسبة 34.66% و29.5% مقارنةً بالنموذج الأساسي MiniGPT-4 وLLaVA على التوالي. يُمكن الاطلاع على الكود الخاص بنا عبر الرابط: https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl.