HyperAIHyperAI
منذ 9 أيام

تجربة الظلام للتعلم المستمر العام: أساس قوي وبسيط

Pietro Buzzega, Matteo Boschini, Angelo Porrello, Davide Abati, Simone Calderara
تجربة الظلام للتعلم المستمر العام: أساس قوي وبسيط
الملخص

لقد ألهمت التعلم المستمر طائفة كبيرة من النهج وأساليب التقييم؛ ومع ذلك، يتجاهل معظمها خصائص السيناريو العملي، حيث لا يمكن تشكيل تدفق البيانات كسلسلة من المهام، كما أن التدريب الخارجي (offline training) ليس ممكناً. نسعى نحو التعلم المستمر العام (GCL)، حيث تصبح حدود المهام ضبابية، وتتغير توزيعات المجال والفئات إما تدريجياً أو فجأةً. نعالج هذه المشكلة من خلال دمج إعادة تمثيل التجربة (rehearsal) مع تبديد المعرفة (knowledge distillation) والتنظيم (regularization). ونقدم أساساً بسيطاً يُسمى "إعادة تمثيل التجربة الداكنة" (Dark Experience Replay)، والذي يُطابق مخرجات الشبكة (logits) المُستمدة خلال مسار التحسين، مما يعزز الاتساق مع الماضي. من خلال تحليل واسع النطاق على معايير قياسية وبيئة تقييم جديدة لـ GCL (MNIST-360)، نُظهر أن هذا الأساس البسيط، رغم بساطته الظاهرية، يتفوق على النُهج المُجمعة ويستغل الموارد المحدودة بكفاءة. كما نستكشف قدرة هذا الهدف على التعميم، مبينين أن تأثير التنظيم يعود بفائدة حقيقية لا تقتصر فقط على تحسين الأداء.

تجربة الظلام للتعلم المستمر العام: أساس قوي وبسيط | أحدث الأوراق البحثية | HyperAI