Daniela Gottesman Alon Gilae-Dotan Ido Cohen Yoav Gur-Arieh Marius Mosbach Ori Yoran Mor Geva

الملخص

تُسهم نماذج اللغة (LMs) بشكل متزايد في تطبيقات حقيقية تتطلب معرفةً بالعالم. ومع ذلك، تظل العمليات الداخلية التي تُحوِّل النماذج من البيانات إلى تمثيلات للمعرفة والمعتقدات حول العالم غير مفهومة جيدًا. وقد تُسهم الرؤى حول هذه العمليات في تمكين تطوير نماذج لغة ذات تمثيلات معرفية أكثر اتساقًا ومتانة وشمولًا. ولتسهيل دراسة هذه الأسئلة، نقدِّم LMEnt، وهي مجموعة أدوات لتحليل اكتساب المعرفة في نماذج اللغة أثناء التدريب المسبق. وتشمل LMEnt ما يلي: (1) مجموعة بيانات تدريب مسبقة غنية بالمعرفة، مُعلَّمة بالكامل بذكر الكيانات، مبنية على ويكيبيديا؛ (2) طريقة استرجاع قائمة على الكيانات للبيانات المُدرَّبة مسبقًا، تفوق الطرق السابقة بنسبة تصل إلى 80.4%؛ و(3) 12 نموذجًا مُدرَّبًا مسبقًا بحد أقصى 1 مليار معلمة، مع 4000 نقطة تحقق وسطية، تُظهر أداءً مماثلًا للنماذج المفتوحة المصدر الشهيرة في اختبارات المعرفة. جنبًا إلى جنب، توفر هذه الموارد بيئة مُتحكمًا فيها لتحليل العلاقة بين الإشارات إلى الكيانات في البيانات المُدرَّبة مسبقًا والأداء في المهام اللاحقة، وكذلك تأثير التدخلات السببية في بيانات التدريب المسبق. ونُظهر فائدة LMEnt من خلال دراسة اكتساب المعرفة عبر نقاط التحقق المختلفة، حيث نجد أن تكرار الحقائق يُعد عنصرًا محوريًا، لكنه لا يفسر بالكامل الاتجاهات في التعلم. ونُطلق LMEnt لدعم الدراسات المتعلقة بالمعرفة في نماذج اللغة، بما في ذلك تمثيلات المعرفة، والمرونة، وتحرير المعرفة، وتوزيع المسؤولية، وديناميكيات التعلم.