التعلم المعلمي السريع مع تخزين التنشيط

تواجه الشبكات العصبية التي تم تدريبها باستخدام الانتشار العكسي غالبًا صعوبة في تحديد الفئات التي تم ملاحظتها عدد قليل من المرات. وفي التطبيقات حيث تكون معظم التسميات الفئوية نادرة، مثل نماذج اللغة، يمكن أن يصبح هذا نقطة اختناق في الأداء. أحد الحلول المحتملة هو تعزيز الشبكة بنموذج غير معلمي يتميز بسرعة التعلم ويحفظ التنشيطات والتسميات الفئوية الأخيرة في ذاكرة خارجية. نستكشف هندسة مبسطة حيث نعتبر جزءًا من معلمات النموذج كمخازن ذاكرة سريعة. يمكن لهذا الأمر المساعدة في الحفاظ على المعلومات لفترات زمنية أطول من الذاكرة التقليدية، ولا يتطلب مساحة أو حساب إضافي. وفي حالة تصنيف الصور، نعرض ربطًا أسرع للتصنيفات الجديدة في مهمة منهجية صور Omniglot. كما نظهر تحسنًا في الأداء لنماذج اللغة القائمة على الكلمات في تقارير الأخبار (GigaWord)، الكتب (مشروع غوتنبرج) والمقالات الموسوعية (WikiText-103) --- حيث حقق الأخير أفضل مستوى معروفة حتى الآن من الالتباس بقيمة 29.2.