أظهرت نماذج اللغة المُدرَّبة مسبقًا (LMs) قدرة على حفظ كمية كبيرة من المعرفة من مجموعات التدريب المُسبقة؛ ومع ذلك، ما زالت محدودة في استرجاع المعرفة الصحيحة من الناحية الواقعية عند إعطاء سياق معين. وبالتالي، تميل إلى معاناة من توليد معلومات خاطئة أو وهمية عند استخدامها في مهام توليد اللغة الطبيعية (NLG) التي تعتمد على المعرفة. ركزت الحلول الحديثة لهذه المشكلة على تعديل إما أهداف التدريب المسبق أو تدريب النموذج المخصص للمهمة لدمج المعرفة، وهو ما يتطلب عادةً تدريبًا إضافيًا مكلفًا أو تعديلًا في البنية المعمارية للنماذج، مما يجعله غير عملي في التطبيقات الحقيقية. نقدّم خوارزمية توليد مُغذّاة بالمعرفة (KID) – وهي خوارزمية توليد جديدة للنماذج المولدة للغة، تقوم بتضمين المعرفة الخارجية ديناميكيًا في كل خطوة من خطوات توليد النموذج. وبشكل خاص، نُحافظ على ذاكرة معرفة محلية قائمة على السياق الحالي، ونتفاعل مع شجرة معرفة خارجية تُنشأ ديناميكيًا، ونُحدّث الذاكرة المحلية باستمرار كقيود واعية بالمعارف لقيادة عملية التوليد من خلال التعلم القوي. على ستة مهام مختلفة في توليد اللغة الطبيعية التي تعتمد على المعرفة، تفوق النماذج العامة غير المُخصصة للمهمة (مثل GPT-2 وBART) المدعومة بـ KID العديد من النماذج الرائدة المُخصصة للمهمة، كما أظهرت أداءً قويًا بشكل خاص في السيناريوهات القليلة الأمثل (few-shot) مقارنة بسبع تقنيات أخرى متعلقة بدمج المعرفة. وتأكيدًا من التقييم البشري، أثبتت KID قدرتها على إنتاج لغة أكثر صلة وصحة حسب السياق المُدخل، مقارنةً بعدة نماذج مرجعية. وأخيرًا، تقلل KID من تحيز التعرض (exposure bias) وتوفر جودة توليد مستقرة عند إنتاج تسلسلات أطول. يمكن الوصول إلى الكود الخاص بـ KID من خلال الرابط: https://github.com/microsoft/KID.