تخصيص نماذج اللغات الكبيرة لمطابقة الكيانات

النماذج اللغوية الكبيرة الجينيراتيفية (LLMs) هي بديل واعد للنماذج اللغوية المدربة مسبقًا في مطابقة الكيانات نظرًا لأدائها العالي في السيناريوهات التي لم يتم تدريبها عليها (zero-shot) وقدرتها على التعميم إلى كيانات غير مرئية سابقًا. ركزت الأبحاث الحالية حول استخدام النماذج اللغوية الكبيرة الجينيراتيفية في مطابقة الكيانات على هندسة الدوافع (prompt engineering) والتعلم السياقي (in-context learning). يهدف هذا البحث إلى استكشاف إمكانات تعديل النماذج اللغوية الكبيرة الجينيراتيفية (fine-tuning) لتحسين مطابقة الكيانات. نقوم بتحليل عملية التعديل من خلال بعدين: 1) تمثيل أمثلة التدريب، حيث نجري تجارب لإضافة أنواع مختلفة من التفسيرات التي تولدها النماذج اللغوية الكبيرة الجينيراتيفية إلى مجموعة التدريب، و2) اختيار وتوليد أمثلة التدريب باستخدام النماذج اللغوية الكبيرة الجينيراتيفية. بالإضافة إلى أداء المطابقة على مجموعة البيانات المصدر، ندرس كيف يؤثر التعديل على قدرة النماذج على التعميم إلى مجموعات بيانات أخرى داخل المجال وكذا عبر مجالات موضوعية مختلفة. أظهرت تجاربنا أن التعديل يحسن بشكل كبير أداء النماذج الأصغر بينما كانت النتائج بالنسبة للنماذج الأكبر متباينة. كما أظهر التعديل تحسينًا في التعميم إلى مجموعات البيانات داخل المجال مع ضرره على الانتقال بين المجالات. أثبتنا أيضًا أن إضافة تفسيرات منظمة إلى مجموعة التدريب لها تأثير إيجابي على أداء ثلاثة من أصل أربع نماذج لغوية كبيرة جينيراتيفية، بينما طرق الاختيار والتوليد المقترحة للأمثلة تحسن فقط أداء Llama 3.1 8B بينما تنقص من أداء GPT-4o-mini.