نُحسِّن النماذج اللغوية التوليدية التلقائية من خلال تكييفها على قطع مستندات تم استردادها من مجموعة بيانات ضخمة، بناءً على التشابه المحلي مع الرموز السابقة. وباستخدام قاعدة بيانات تضم 2 تريليون رمز، يحقق نموذج RETRO (المحول المُعزَّز بالاسترجاع) أداءً مماثلاً لنموذج GPT-3 وJurassic-1 على مجموعة Pile، رغم استخدامه لعدد من المعاملات أقل بـ 25 مرة. وبعد التدريب الدقيق، يُترجم أداء RETRO إلى مهام متعددة تعتمد على المعرفة في المهام التطبيقية، مثل الإجابة على الأسئلة. يدمج RETRO مسترجِع Bert ثابت، ومشفر قابل للتمييز، وآلية انتباه متقاطع مُقسَّمة إلى قطع، لتمكين توقع الرموز بناءً على بيانات تفوق بكثير كمية البيانات التي تُستهلك عادةً أثناء التدريب. ورغم أننا نُدرّب RETRO عادةً من الصفر، إلا أنه يمكننا أيضًا تكييف نماذج محولات مُدرَّبة مسبقًا بسرعة باستخدام الاسترجاع، مع الحفاظ على أداء جيد. تفتح أبحاثنا آفاقًا جديدة لتحسين النماذج اللغوية من خلال الذاكرة الصريحة على نطاق غير مسبوق.