تعلم تذكر الأحداث النادرة

رغم التقدم الحديث، لا تزال شبكات العصب العميقة المدعومة بالذاكرة محدودة عند التعلم مدى الحياة والتعلم من مثال واحد، خاصة فيما يتعلق بحفظ الأحداث النادرة. نقدم في هذا البحث وحدة ذاكرة على نطاق كبير يمكن استخدامها في التعلم العميق. تعتمد الوحدة على خوارزميات الجيران الأقرب السريعة لتحقيق الكفاءة، وبالتالي فإنها قابلة للتوسع إلى أحجام ذاكرة كبيرة. باستثناء استعلام الجار الأقرب، تكون الوحدة قابلة للاشتقاق تمامًا وتتم تدريبها بشكل شامل دون أي إشراف إضافي. تعمل الوحدة بطريقة مستمرة مدى الحياة، أي بدون الحاجة إلى إعادة تعيينها أثناء التدريب.يمكن إضافة وحدتنا الذاكرية بسهولة إلى أي جزء من شبكة عصبية تحت الإشراف. لإظهار مرونتها، أضفناها إلى عدد من الشبكات، بدءًا من شبكات الإدراك البسيطة التي تم اختبارها على تصنيف الصور وصولاً إلى نماذج التحويل المتتابعة والمتكررة-الإدراكية العميقة. في جميع الحالات، تحصل الشبكة المعززة على القدرة على الحفظ والتعلم من مثال واحد مدى الحياة. تتذكر الوحدة أمثلة التدريب التي ظهرت قبل آلاف الخطوات وتستطيع تعميم النتائج بنجاح منها. حققنا أفضل مستوى حتى الآن في التعلم من مثال واحد على مجموعة بيانات Omniglot وأظهرنا لأول مرة القدرة على التعلم مدى الحياة من مثال واحد في الشبكات العصبية المتكررة عند مهمة الترجمة الآلية ذات الحجم الكبير.