HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم المستمر باستخدام الشبكات الفائقة

Johannes von Oswald; Christian Henning; Benjamin F. Grewe; João Sacramento

الملخص

تُعاني الشبكات العصبية الاصطناعية من النسيان الكارثي عندما يتم تدريبها بشكل متتابع على مهام متعددة. لحل هذه المشكلة، نقدم نهجًا جديدًا يعتمد على الشبكات الفائقة المشروطة بالمهام، أي شبكات تولد أوزان نموذج الهدف بناءً على هوية المهمة. يعتبر التعلم المستمر (CL) أقل صعوبة لهذه الفئة من النماذج بفضل ميزة أساسية بسيطة: بدلاً من استدعاء العلاقات بين المدخلات والمخرجات لجميع البيانات التي تم رؤيتها سابقًا، تتطلب الشبكات الفائقة المشروطة بالمهام فقط إعادة التدريب على تحققات الأوزان الخاصة بالمهام، والتي يمكن الحفاظ عليها في الذاكرة باستخدام مُنتظم بسيط. بالإضافة إلى تحقيق أداء قياسي على مقاييس التعلم المستمر القياسية، كشفت التجارب الإضافية على سلاسل مهام طويلة أن الشبكات الفائقة المشروطة بالمهام تظهر قدرة كبيرة جدًا على حفظ الذكريات السابقة. وبشكل لافت للنظر، يتم تحقيق هذه الأعمار الطويلة للذاكرة في نظام ضاغط، عندما يكون عدد الأوزان القابلة للتدريب في الشبكة الفائقة مماثلًا أو أصغر من حجم شبكة الهدف. نقدم رؤى حول هيكل فضاءات التضمين ذات الأبعاد المنخفضة للمهام (فضاء المدخلات للشبكة الفائقة) ونوضح أن الشبكات الفائقة المشروطة بالمهام تظهر التعلم النقل. وأخيرًا، يتم دعم نقل المعلومات للأمام بمزيد من النتائج التجريبية على مقاييس التعلم المستمر الصعبة المعتمدة على مجموعات الصور CIFAR-10/100.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp