HyperAIHyperAI
منذ 2 أشهر

نهج اختيار مسار عشوائي متكيف للتعلم التدريجي

Jathushan Rajasegaran; Munawar Hayat; Salman Khan; Fahad Shahbaz Khan; Ling Shao; Ming-Hsuan Yang
نهج اختيار مسار عشوائي متكيف للتعلم التدريجي
الملخص

في الإعداد التقليدي للتعلم الإشرافي، يكون نموذج التعلم الآلي قادرًا على الوصول إلى أمثلة لجميع فئات الأشياء التي يُراد التعرف عليها خلال مرحلة الاستدلال. وهذا يؤدي إلى نموذج ثابت يفتقر إلى المرونة اللازمة للتكيف مع مهام التعلم الجديدة. في الإعدادات العملية، غالبًا ما تصل مهام التعلم بشكل متسلسل ويتعين على النماذج أن تستمر في التعلم لزيادة المعرفة التي اكتسبتها سابقًا. تقع الطرق الحالية للتعلم المتزايد بعيدًا عن النماذج الجماعية الرائدة التي تستخدم جميع فئات التدريب دفعة واحدة.في هذا البحث، نقترح خوارزمية اختيار المسار العشوائي، والتي أطلقنا عليها اسم الشبكة العصبية ذات المسارات العشوائية المتكيفة (Adaptive RPS-Net)، والتي تختار تدريجيًا المسارات المثلى للمهام الجديدة مع تشجيع المشاركة بين المعلمات الخاصة بالمهام. نقدم مقياسًا جديدًا لقدرة الشبكة يمكّننا من تحويل المسارات تلقائيًا إذا كانت الموارد المستخدمة ممتلئة. بما أن استراتيجية إعادة استخدام المسار المقترحة تضمن نقل المعرفة للأمام، فإن طرحنا فعال وله حمل حسابي أقل بكثير.كإضافة جديدة، يدمج النموذج المقترح تقنيتي التقطير المعرفي والرجوع إلى الخلف بجانب استراتيجية اختيار المسار للتغلب على النسيان الكارثي. من أجل الحفاظ على توازن بين المعرفة السابقة والمكتسبة حديثًا، نقترح محكمًا بسيطًا لتوازن البلاستيكية النموذجية بشكل ديناميكي. من خلال التجارب الواسعة، نثبت أن طريقة الشبكة العصبية ذات المسارات العشوائية المتكيفة (Adaptive RPS-Net) تتخطى الأداء الرائد في مجال التعلم المتزايد وأن هذه الطريقة يمكنها العمل في وقت ثابت باستخدام الحوسبة المتوازية وبكفاءة مشابهة تقريبًا لنموذج شبكة العصبونات العميق التقليدي.