متطلبات التعلم التدرجي للصف

الشبكات العصبية الحديثة محدودة في قدرتها على التعلم من تدفقات متغيرة من بيانات التدريب. عند تدريبها تسلسليًا على مهام جديدة أو متغيرة، تنخفض دقتها بشكل حاد، مما يجعلها غير مناسبة للكثير من التطبيقات الواقعية. في هذه الدراسة، نسلط الضوء على أسباب هذه الظاهرة الشهيرة ولكنها غير المحلولة – المعروفة غالبًا باسم "النسيان الكارثي" – في بيئة تعلم متزايد حسب الفئة (class-incremental). نُظهر أن مزيجًا من عناصر بسيطة مع دالة خسارة توازن بين التعلم الداخلي للوظيفة والتعلم بين الوظائف يمكنه بالفعل حل مشكلة النسيان بنفس الدرجة التي تحققها الطرق المعقدة المُقترحة في الأدبيات السابقة. علاوةً على ذلك، نحدد ضعف جودة التمثيل المُتعلم كسبب آخر للنسيان الكارثي في سياق التعلم المتزايد حسب الفئة. ونُظهر أن الأداء مرتبط بمعلومات إضافية عن الفئات (البيانات المظلمة أو dark knowledge) التي يتعلمها النموذج، ويمكن تحسينه باستخدام منظم مناسب. وباستخدام هذه الدروس المستفادة، تُحسّن نتائج التعلم المتزايد حسب الفئة على مجموعتي بيانات CIFAR-100 وImageNet بشكل كبير مقارنة بأفضل النماذج الحالية، مع الحفاظ على بساطة النهج.