خريطة الميمات إلى الكلمات لتصنيف الميمات الكراهية متعددة الوسائط

الصور النصية متعددة الوسائط (ميمات الصورة-النص) شائعة على الإنترنت، حيث تعمل كشكل فريد من أشكال التواصل تجمع بين العناصر البصرية والنصية لنقل الفكاهة، الأفكار أو المشاعر. ومع ذلك، فإن بعض هذه الميمات قد تأخذ منحىً خبيثًا، إذ تعزز المحتوى الكاره وترسخ التمييز. اكتشاف الميمات الكارهة في هذا السياق متعدد الوسائط هو مهمة صعبة تتطلب فهم المعنى المتشابك للنصوص والصور. في هذا البحث، نعالج هذه المشكلة من خلال اقتراح نهج جديد يُسمى ISSUES (قضايا) لتصنيف الميمات الكارهة متعددة الوسائط. يستخدم ISSUES نموذج رؤية-لغة مُدرب مسبقًا (CLIP) وتقنية الانعكاس النصي للتقاط المحتوى الدلالي متعدد الوسائط للميمات بشكل فعال. تظهر التجارب أن طريقتنا تحقق نتائج رائدة على مجموعة بيانات تحدي الميمات الكارهة (Hateful Memes Challenge) ومجموعة بيانات HarMeme. الرمز البرمجي والنماذج المدربة مسبقًا متاحة للعامة على الرابط https://github.com/miccunifi/ISSUES.