PathNet: قنوات التطور للهبوط بالتفاضل في الشبكات العصبية الفائقة

للبِنية الذكاء العام (AGI)، سيكون من الفعّال أن يقوم العديد من المستخدمين بتدريب شبكة عصبية ضخمة واحدة، مما يسمح بإعادة استخدام المعلمات دون نسيان كارثي. يعد PathNet خطوة أولى في هذا الاتجاه. إنه خوارزمية شبكة عصبية تستخدم وكلاء مدمجين في الشبكة العصبية مهمتهم اكتشاف أي أجزاء من الشبكة يمكن إعادة استخدامها للمهام الجديدة. الوكلاء هم مسارات (وجهات نظر) عبر الشبكة التي تحدد مجموعة المعلمات التي يتم استخدامها وتحديثها بواسطة عمليات التدريب الأمامي والخلفي لخوارزمية الرجوع الخلفي (backpropagation). أثناء التعلم، يتم استخدام خوارزمية الانتقاء البطولي الجينية لاختيار المسارات عبر الشبكة العصبية للتكاثر والطفرة. اللياقة البدنية للمسار هي أداء ذلك المسار الذي يتم قياسه وفقًا لدالة تكلفة. نحن نظهر نقل التعلم الناجح؛ عند ثبات المعلمات على طول المسار الذي تم تعلمه للمهمة A وإعادة تطور سكان جديد من المسارات للمهمة B، يمكن تعلم المهمة B بشكل أسرع مما يمكن تعلمه من الصفر أو بعد التعديل الدقيق. المسارات التي تم تطورها للمهمة B تستعيد أجزاءً من المسار الأمثل الذي تم تطوره للمهمة A. تم إظهار النقل الإيجابي للأهداف التعليمية ذات الرقابة الثنائية لـ MNIST وCIFAR وSVHN، ولمجموعة من مهام تعليم التعزيز لألعاب Atari ولabyrinth، مما يشير إلى أن PathNets لديها قابلية التطبيق العامة في تدريب الشبكات العصبية. وأخيرًا، يحسن PathNet أيضًا بشكل كبير صلابة الاختيارات الفائقة لمعلمة خوارزمية تعليم التعزيز المتوازية غير المتزامنة (A3C).