التعلم المستمر باستخدام الشبكات الفائقة

تُعاني الشبكات العصبية الاصطناعية من النسيان الكارثي عندما يتم تدريبها بشكل متتابع على مهام متعددة. لحل هذه المشكلة، نقدم نهجًا جديدًا يعتمد على الشبكات الفائقة المشروطة بالمهام، أي شبكات تولد أوزان نموذج الهدف بناءً على هوية المهمة. يعتبر التعلم المستمر (CL) أقل صعوبة لهذه الفئة من النماذج بفضل ميزة أساسية بسيطة: بدلاً من استدعاء العلاقات بين المدخلات والمخرجات لجميع البيانات التي تم رؤيتها سابقًا، تتطلب الشبكات الفائقة المشروطة بالمهام فقط إعادة التدريب على تحققات الأوزان الخاصة بالمهام، والتي يمكن الحفاظ عليها في الذاكرة باستخدام مُنتظم بسيط. بالإضافة إلى تحقيق أداء قياسي على مقاييس التعلم المستمر القياسية، كشفت التجارب الإضافية على سلاسل مهام طويلة أن الشبكات الفائقة المشروطة بالمهام تظهر قدرة كبيرة جدًا على حفظ الذكريات السابقة. وبشكل لافت للنظر، يتم تحقيق هذه الأعمار الطويلة للذاكرة في نظام ضاغط، عندما يكون عدد الأوزان القابلة للتدريب في الشبكة الفائقة مماثلًا أو أصغر من حجم شبكة الهدف. نقدم رؤى حول هيكل فضاءات التضمين ذات الأبعاد المنخفضة للمهام (فضاء المدخلات للشبكة الفائقة) ونوضح أن الشبكات الفائقة المشروطة بالمهام تظهر التعلم النقل. وأخيرًا، يتم دعم نقل المعلومات للأمام بمزيد من النتائج التجريبية على مقاييس التعلم المستمر الصعبة المعتمدة على مجموعات الصور CIFAR-10/100.