HyperAIHyperAI

Command Palette

Search for a command to run...

تخصيص نماذج اللغات الكبيرة لمطابقة الكيانات

Author Name

الملخص

النماذج اللغوية الكبيرة الجينيراتيفية (LLMs) هي بديل واعد للنماذج اللغوية المدربة مسبقًا في مطابقة الكيانات نظرًا لأدائها العالي في السيناريوهات التي لم يتم تدريبها عليها (zero-shot) وقدرتها على التعميم إلى كيانات غير مرئية سابقًا. ركزت الأبحاث الحالية حول استخدام النماذج اللغوية الكبيرة الجينيراتيفية في مطابقة الكيانات على هندسة الدوافع (prompt engineering) والتعلم السياقي (in-context learning). يهدف هذا البحث إلى استكشاف إمكانات تعديل النماذج اللغوية الكبيرة الجينيراتيفية (fine-tuning) لتحسين مطابقة الكيانات. نقوم بتحليل عملية التعديل من خلال بعدين: 1) تمثيل أمثلة التدريب، حيث نجري تجارب لإضافة أنواع مختلفة من التفسيرات التي تولدها النماذج اللغوية الكبيرة الجينيراتيفية إلى مجموعة التدريب، و2) اختيار وتوليد أمثلة التدريب باستخدام النماذج اللغوية الكبيرة الجينيراتيفية. بالإضافة إلى أداء المطابقة على مجموعة البيانات المصدر، ندرس كيف يؤثر التعديل على قدرة النماذج على التعميم إلى مجموعات بيانات أخرى داخل المجال وكذا عبر مجالات موضوعية مختلفة. أظهرت تجاربنا أن التعديل يحسن بشكل كبير أداء النماذج الأصغر بينما كانت النتائج بالنسبة للنماذج الأكبر متباينة. كما أظهر التعديل تحسينًا في التعميم إلى مجموعات البيانات داخل المجال مع ضرره على الانتقال بين المجالات. أثبتنا أيضًا أن إضافة تفسيرات منظمة إلى مجموعة التدريب لها تأثير إيجابي على أداء ثلاثة من أصل أربع نماذج لغوية كبيرة جينيراتيفية، بينما طرق الاختيار والتوليد المقترحة للأمثلة تحسن فقط أداء Llama 3.1 8B بينما تنقص من أداء GPT-4o-mini.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp