توسيع شبكات العصبي المدعمة بالذاكرة باستخدام القراءات والكتابة النادرة

الشبكات العصبية المكملة بذاكرة خارجية لديها القدرة على تعلم حلول خوارزمية للمهام المعقدة. تبدو هذه النماذج واعدة للتطبيقات مثل نمذجة اللغة والترجمة الآلية. ومع ذلك، فإنها تتضخم بشكل سيء في كل من المساحة والزمن مع زيادة حجم الذاكرة --- مما يحد من قابليتها للتطبيق في المجالات الحقيقية. هنا، نقدم مخططًا للوصول إلى الذاكرة قابلًا للاشتقاق من النهاية إلى النهاية، والذي نطلق عليه اسم الذاكرة ذات الوصول النادر (Sparse Access Memory - SAM)، حيث يحتفظ هذا المخطط بقوة التمثيل للأطر الأصلية بينما يتم تدريبه بكفاءة مع ذاكرات كبيرة جدًا. نوضح أن SAM يصل إلى حدود أدنى مقاربة في تعقيد المساحة والزمن، ونجد أن تنفيذه يعمل بسرعة $1,!000$ مرة وأقل بمقدار $3,!000$ مرة من الذاكرة الفعلية مقارنة بالنماذج غير النادرة. يتعلم SAM بكفاءة بيانات مparable إلى النماذج الحالية في مجموعة متنوعة من المهام الصناعية وتمييز شخصيات Omniglot في المحاولة الأولى، ويمكنه التوسع إلى مهام تتطلب خطوات زمنية تبلغ $100,!000$ وأكثر وذاكرات. بالإضافة إلى ذلك، نوضح كيف يمكن تكييف نهجنا للنماذج التي تحتفظ بالروابط الزمنية بين الذكريات، كما هو الحال مع الكمبيوتر العصبي القابل للمشارقة الذي تم تقديمه مؤخرًا (Differentiable Neural Computer).