مجموعة بيانات الميم المتعددة الوسائط (MultiOFF) لتحديد المحتوى المعادي في الصور والنصوص

الـميم (Meme) هو شكل من أشكال الوسائط يُنشر من خلاله فكرة أو مشاعر عبر الإنترنت. ومع تطور نشر الميمات كشكل جديد من أشكال التواصل على الويب، فإن انتشار الميمات الكارهة أو الأحداث المرتبطة بها مثل التهديدات الإلكترونية والتحرش الإلكتروني يزداد يومًا بعد يوم، وذلك نظرًا للطبيعة متعددة الوسائط التي تميز الميمات. وقد تم استكشاف كشف الخطاب الكاره، والمحتوى المهين، والمحتوى العدائي بشكل واسع في وسائط منفصلة مثل النص أو الصورة. لكن دمج الوسائط المزدوجة لاكتشاف المحتوى المهين لا يزال مجالًا قيد التطوير. وتجعل الميمات الأمر أكثر تعقيدًا، لأنها تعبّر عن السخرية والساخرة بشكل غير مباشر، لذا قد لا يبدو الميم مهينًا إذا نظرنا فقط إلى النص أو الصورة منفصلين. وبالتالي، من الضروري دمج كلا الوسائط لتحديد ما إذا كان الميم المعطى مهينًا أم لا. وبما أن لم يكن هناك مجموعة بيانات متاحة للجمهور للكشف عن المحتوى المهين في الميمات متعددة الوسائط، فقد استخدمنا ميمات متعلقة بالانتخابات الرئاسية الأمريكية لعام 2016، وقمنا بإنشاء مجموعة بيانات متعددة الوسائط تُسمى "MultiOFF" للكشف عن المحتوى المهين. ثم طوّرنا تصنيفًا لهذا المهمة باستخدام مجموعة بيانات MultiOFF. استخدمنا تقنية الدمج المبكر (Early Fusion) لدمج الوسائط النصية والصورية، وقورنا النتائج مع نموذجين قائمين على النص فقط والصورة فقط، بهدف تقييم فعالية هذه الطريقة. أظهرت نتائجنا تحسينات في مؤشرات الدقة (Precision) والاسترجاع (Recall) ودقة فوكي (F-Score). تم نشر الكود وبيانات هذا البحث على الرابط التالي: \textit{url{https://github.com/bharathichezhiyan/Multimodal-Meme-Classification-Identifying-Offensive-Content-in-Image-and-Text}}