دراسة شاملة للتعديل المعرفي لنموذجات اللغة الكبيرة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات استثنائية في فهم وإنتاج النصوص التي تشبه بشكل وثيق التواصل البشري. ومع ذلك، تكمن إحدى القيود الأساسية في الطلب الكبير على الحوسبة أثناء التدريب، والذي ينشأ عن التخصيص الواسع للبارامترات. وتتفاقم هذه التحديات أكثر بسبب الطبيعة الديناميكية للعالم، مما يستدعي تحديثات متكررة للنماذج اللغوية الكبيرة لإصلاح المعلومات القديمة أو دمج المعرفة الجديدة، وذلك لضمان بقائها ذات صلة مستمرة. ويُلاحظ أن العديد من التطبيقات تتطلب تعديلات مستمرة للنموذج بعد التدريب لمعالجة النواقص أو السلوكيات غير المرغوبة. ونتيجة لذلك، ازداد الاهتمام بطرق فعّالة وخفيفة الوزن لتعديل النماذج على الطاير. وفي هذا السياق، شهدت السنوات الأخيرة نموًا ملحوظًا في تقنيات تعديل المعرفة للنماذج اللغوية الكبيرة، والتي تهدف إلى تعديل سلوك هذه النماذج بشكل فعّال ضمن مجالات محددة مع الحفاظ على الأداء العام أمام مختلف المدخلات. في هذه الورقة، نُعرّف أولًا مشكلة تعديل المعرفة، ثم نقدم مراجعة شاملة للنهج المتطورة حديثًا. مستوحين من نظريات البحث التربوي والدماغي، نقترح معيارًا موحدًا للتصنيف يُقسّم أساليب تعديل المعرفة إلى ثلاث مجموعات: الاعتماد على المعرفة الخارجية، ودمج المعرفة داخل النموذج، وتعديل المعرفة الداخلية. علاوة على ذلك، نُقدّم معيارًا جديدًا يُسمى KnowEdit لإجراء تقييم تجريبي شامل لأساليب تعديل المعرفة البارزة. كما نقدم تحليلًا معمقًا لمواقع المعرفة، مما يُسهم في فهم أعمق للهياكل المعرفية المتأصلة داخل النماذج اللغوية الكبيرة. وأخيرًا، نناقش عدة تطبيقات محتملة لتعديل المعرفة، مع تسليط الضوء على آثارها الواسعة والمؤثرة.