HyperAIHyperAI
منذ 2 أشهر

حول الذكريات الواقعة الصغيرة في التعلم المستمر

Arslan Chaudhry; Marcus Rohrbach; Mohamed Elhoseiny; Thalaiyasingam Ajanthan; Puneet K. Dokania; Philip H. S. Torr; Marc'Aurelio Ranzato
حول الذكريات الواقعة الصغيرة في التعلم المستمر
الملخص

في التعلم المستمر (CL)، يتعلم العميل من سلسلة مهام مستفيدةً من الخبرات السابقة لنقل المعرفة إلى المهام المستقبلية. يعتبر هذا الإطار مثاليًا لتقليل كمية الرقابة في الخوارزميات التعليمية الحالية. ولكن، لتحقيق نقل المعرفة بنجاح، يجب على العميل تذكر كيفية أداء المهام السابقة. أحد الطرق لمنح العميل القدرة على أداء المهام التي شُوهدت سابقًا هو تخزين ذاكرة صغيرة، تُسمى الذاكرة الحلقة (episodic memory)، تحتفظ ببعض الأمثلة من المهام السابقة، ثم إعادة تشغيل هذه الأمثلة أثناء التدريب على المهام المستقبلية. في هذا البحث، نقوم بتحليل فعالية ذاكرة حلقة صغيرة جدًا في إعداد التعلم المستمر حيث يتم رؤية كل مثال تدريبي مرة واحدة فقط. بشكل مفاجئ، عبر أربع مقاييس مختلفة للتعلم الإشرافي تم تكييفها للتعلم المستمر، أظهرت طريقة أساسية بسيطة جدًا، تقوم بالتدريب المشترك على أمثلة من المهمة الحالية وأمثلة مخزنة في الذاكرة الحلقة، تفوقًا كبيرًا على النهج المصممة خصيصًا للتعلم المستمر مع وجود أو عدم وجود ذاكرة حلقة. بشكل مثير للاهتمام، وجدنا أن التدريب المتكرر حتى على ذكريات صغيرة جدًا للمهام السابقة لا يضر بالعمومية (generalization)، بل على العكس من ذلك، يحسنها، بمكاسب تتراوح بين 7٪ و17٪ عند مليء الذاكرة بمثال واحد لكل فئة.

حول الذكريات الواقعة الصغيرة في التعلم المستمر | أحدث الأوراق البحثية | HyperAI