تشجيع ChatGPT في MNER: تعزيز التعرف على الكيانات الاسمية متعددة الوسائط باستخدام المعرفة المكررة المساعدة

التعرف على الكيانات المسماة متعددة الوسائط (MNER) في وسائل التواصل الاجتماعي يهدف إلى تحسين التنبؤ بالكيانات النصية من خلال دمج أدلة قائمة على الصور. تركز الدراسات الحالية بشكل أساسي على تعظيم الاستفادة من المعلومات المرتبطة بالصور أو دمج المعرفة الخارجية من قواعد بيانات المعرفة الصريحة. ومع ذلك، فإن هذه الطرق إما تتجاهل ضرورة توفير المعرفة الخارجية للنموذج، أو تواجه مشكلات في الإفراط في التكرار في المعرفة المسترجعة. في هذا البحث، نقدم PGIM -- إطارًا ذو مرحلتين يهدف إلى الاستفادة من ChatGPT كقاعدة معرفة ضمنية وتمكينه من توليد المعرفة المساعدة بطريقة تقريبية لتحسين كفاءة التنبؤ بالكيانات. بصفة خاصة، يحتوي PGIM على وحدة الوعي بالأمثلة المشابهة متعددة الوسائط التي تختار أمثلة مناسبة من عدد صغير محدد مسبقًا من العينات الاصطناعية. يتم بعد ذلك دمج هذه الأمثلة في قالب تحفيز مهيأ خصيصًا لمهمة MNER ويوجه ChatGPT لتوليد معرفة مكررة ومدروسة. أخيرًا، يتم دمج المعرفة المحصلة مع النص الأصلي وإدخالها في نموذج ما بعد العمليات لمعالجته بشكل أكبر. أظهرت التجارب الشاملة أن PGIM يتفوق على أفضل الأساليب الحالية في مجموعة بيانات MNER التقليدية ويتمتع بقدرة مقاومة وعمومية أقوى.