Command Palette
Search for a command to run...
توسيع شبكات العصبي المدعمة بالذاكرة باستخدام القراءات والكتابة النادرة
توسيع شبكات العصبي المدعمة بالذاكرة باستخدام القراءات والكتابة النادرة
J. Doe A. Smith
الملخص
الشبكات العصبية المكملة بذاكرة خارجية لديها القدرة على تعلم حلول خوارزمية للمهام المعقدة. تبدو هذه النماذج واعدة للتطبيقات مثل نمذجة اللغة والترجمة الآلية. ومع ذلك، فإنها تتضخم بشكل سيء في كل من المساحة والزمن مع زيادة حجم الذاكرة --- مما يحد من قابليتها للتطبيق في المجالات الحقيقية. هنا، نقدم مخططًا للوصول إلى الذاكرة قابلًا للاشتقاق من النهاية إلى النهاية، والذي نطلق عليه اسم الذاكرة ذات الوصول النادر (Sparse Access Memory - SAM)، حيث يحتفظ هذا المخطط بقوة التمثيل للأطر الأصلية بينما يتم تدريبه بكفاءة مع ذاكرات كبيرة جدًا. نوضح أن SAM يصل إلى حدود أدنى مقاربة في تعقيد المساحة والزمن، ونجد أن تنفيذه يعمل بسرعة 1,!000 مرة وأقل بمقدار 3,!000 مرة من الذاكرة الفعلية مقارنة بالنماذج غير النادرة. يتعلم SAM بكفاءة بيانات مparable إلى النماذج الحالية في مجموعة متنوعة من المهام الصناعية وتمييز شخصيات Omniglot في المحاولة الأولى، ويمكنه التوسع إلى مهام تتطلب خطوات زمنية تبلغ 100,!000 وأكثر وذاكرات. بالإضافة إلى ذلك، نوضح كيف يمكن تكييف نهجنا للنماذج التي تحتفظ بالروابط الزمنية بين الذكريات، كما هو الحال مع الكمبيوتر العصبي القابل للمشارقة الذي تم تقديمه مؤخرًا (Differentiable Neural Computer).