HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 4 أشهر

مفيد أم ضار: الارتباط بين المهام في التعلم المستمر

{Eunwoo Kim Hyundong Jin}

مفيد أم ضار: الارتباط بين المهام في التعلم المستمر

الملخص

عند تحسين المهام الواردة تسلسليًا، تعاني الشبكات العصبية العميقة عادةً من نسيان كارثي بسبب قدرتها المحدودة على الحفاظ على المعرفة من المهام القديمة. وقد يؤدي هذا إلى انخفاض كبير في أداء المهام التي تم تعلمها سابقًا. ولتخفيف هذه المشكلة، تم إجراء دراسات حول التعلم المستمر كإجراء وقائي. ومع ذلك، يعاني هذا النهج من زيادة في التكلفة الحسابية ناتجة عن توسيع حجم الشبكة أو تغير في المعرفة التي تكون متميزة بعلاقة إيجابية مع المهام السابقة. في هذه الدراسة، نقترح منهجية جديدة تميز بين المعلومات المفيدة والضارة بالنسبة للمهام القديمة، باستخدام عملية بحث نموذجية لتعلم المهمة الحالية بشكل فعّال. وبمجرد تلقي مهمة جديدة، يقوم المنهج المقترح باكتشاف معرفة ارتباطية كامنة من المهام القديمة، والتي يمكن أن تُوفّر دعمًا إضافيًا في اكتساب معرفة المهمة الجديدة. علاوةً على ذلك، وباستخدام قياس حساسية خسارة المهمة الحالية بالنسبة للمهام المرتبطة بها، نتمكن من تحديد علاقات تعاونية بين المهام مع تقليل التداخل الضار. ونطبق المنهج المقترح على سيناريوهات التعلم المستمر المتمثلة في التوسع في المهام والتوسع في الفئات، باستخدام مجموعة واسعة من مجموعات البيانات التي تتراوح من الحجم الصغير إلى الكبير. وتُظهر النتائج التجريبية أن المنهج المقترح يتفوق على مجموعة واسعة من مناهج التعلم المستمر في التجارب، مع التخفيف الفعّال من ظاهرة النسيان الكارثي.

المعايير القياسية

معيار قياسيالمنهجيةالمقاييس
continual-learning-on-cubs-fine-grained-6H$^{2}$
Accuracy: 84.1
continual-learning-on-flowers-fine-grained-6H$^{2}$
Accuracy: 94.9
continual-learning-on-imagenet-fine-grained-6H$^{2}$
Accuracy: 75.71
continual-learning-on-sketch-fine-grained-6H$^{2}$
Accuracy: 76.2
continual-learning-on-split-cifar-10-5-tasksH$^{2}$
Top 1 Accuracy %: 97.3
continual-learning-on-split-mnist-5-tasksH$^{2}$
Top 1 Accuracy %: 99.9
continual-learning-on-stanford-cars-fineH$^{2}$
Accuracy: 90.6
continual-learning-on-wikiart-fine-grained-6H$^{2}$
Accuracy: 75.1

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مفيد أم ضار: الارتباط بين المهام في التعلم المستمر | الأوراق البحثية | HyperAI