HyperAIHyperAI
منذ 9 أيام

اختيار المسار العشوائي للتعلم المستمر

{Jathushan Rajasegaran, Fahad Shahbaz Khan, Salman H. Khan, Munawar Hayat, Ling Shao}
اختيار المسار العشوائي للتعلم المستمر
الملخص

التعلم المتزايد على مدى الحياة يُعدّ أحد التحديات الرئيسية نحو تحقيق الهدف الطويل الأمد للذكاء الاصطناعي العام. في البيئات الواقعية، تصل مهام التعلم تباعًا، ويجب على نماذج تعلم الآلة أن تتعلم باستمرار لتوسيع المعرفة المكتسبة سابقًا. تظل النماذج الحالية للتعلم المتزايد بعيدةً جدًا عن النماذج المتطورة المجمعة التي تستخدم جميع فئات التدريب في وقت واحد. في هذه الورقة، نقترح خوارزمية اختيار مسار عشوائي، تُسمى RPS-Net، التي تختار تدريجيًا المسارات المثلى للمهام الجديدة مع تشجيع مشاركة المعلمات وإعادة استخدامها. تتجنب طريقتنا التكاليف الإضافية الناتجة عن استراتيجيات اختيار المسار القائمة على التطور أو التعلم التعلمي التكيفي، التي تستهلك موارد حسابية كبيرة، مع تحقيق مكاسب كبيرة في الأداء. وبإضافة ميزة جديدة، تدمج النموذج المقترح تدريب التعميم المعرفي (Knowledge Distillation) والتأمل العكسي (Retrospection) مع استراتيجية اختيار المسار لتجاوز مشكلة النسيان الكارثي. ولضمان التوازن بين المعرفة السابقة والمعارف المكتسبة حديثًا، نقترح مُتحكمًا بسيطًا لضبط مرونة النموذج ديناميكيًا. من خلال تجارب واسعة النطاق، نُظهر أن الطريقة المقترحة تتفوق على أفضل الأداءات الحالية في التعلم المتزايد، وأنها تستطيع العمل في زمن ثابت بفضل الحوسبة المتوازية، وبكفاءة تقريبًا مساوية للكفاءة التي تتمتع بها الشبكات العصبية التلافيفية العميقة التقليدية.

اختيار المسار العشوائي للتعلم المستمر | أحدث الأوراق البحثية | HyperAI