يُعد الوصول إلى المعرفة الخارجية ضروريًا لعدة مهام معالجة اللغة الطبيعية، مثل الإجابة على الأسئلة والمحادثات. تعتمد الطرق الحالية غالبًا على نموذج معتمد على المعاملات (parametric model) يخزن المعرفة داخل معاملاته، أو على نموذج مُعزّز بالاسترجاع (retrieval-augmented model) يحصل على وصول إلى مصدر خارجي للمعرفة. يتمتع النموذجان، المعتمدان على المعاملات والمعززان بالاسترجاع، بقدرات مكملة فيما يتعلق بكفاءة الحوسبة والدقة التنبؤية. ولدمج مزايا كلا النهجين، نقترح نموذج "Transformer المُعزّز بالذاكرة الفعّالة" (Efficient Memory-Augmented Transformer - EMAT)، الذي يُشفّر المعرفة الخارجية في ذاكرة مكونة من أزواج "مفتاح-قيمة" (key-value memory)، ويستفيد من خوارزمية البحث السريع عن أقصى جداء داخلي (maximum inner product search) لاسترجاع المعلومات من الذاكرة. كما نقدّم مهامًا لتدريب مسبق (pre-training tasks) تسمح لـ EMAT بتمثيل معلومات مفيدة في أزواج المفاتيح والقيم، وتعلم استراتيجية ضمنية لدمج عدة فُرَص ذاكرة (memory slots) داخل نموذج Transformer. أظهرت التجارب على مهام متعددة تعتمد على المعرفة، مثل قواعد بيانات الإجابة على الأسئلة والمحادثات، أن مجرد تعزيز النماذج المعتمدة على المعاملات (مثل T5-base) باستخدام طريقة EMAT يُنتج نتائج أكثر دقة (مثلاً: من 25.8 إلى 44.3 EM على NQ)، مع الحفاظ على معدل عالٍ من الأداء (مثلاً: 1000 استعلام في الثانية على NQ). مقارنةً بالنماذج المعززة بالاسترجاع، تعمل EMAT بشكل أسرع بشكل ملحوظ في جميع المهام، وتوفر نتائج أكثر دقة على مجموعتي بيانات WoW وELI5. يمكن الاطلاع على الكود والبيانات المستخدمة عبر الرابط التالي: https://github.com/uclnlp/EMAT.