منحنى معدل التعلم

تتطلب معظم طرق التعلم بالمنهاج (curriculum learning) نهجًا لتصنيف عينات البيانات حسب الصعوبة، وهو ما يكون غالبًا مُتعبًا من حيث التنفيذ. في هذه الدراسة، نقترح منهجًا جديدًا للتعلم بالمنهاج يُسمى "منهاج معدل التعلم" (Learning Rate Curriculum - LeRaC)، والذي يستفيد من استخدام معدل تعلم مختلف لكل طبقة في الشبكة العصبية لإنشاء منهج تعلّم لا يعتمد على البيانات خلالepochs الأولى من التدريب. وبشكل أكثر تحديدًا، يُعيّن LeRaC معدلات تعلم أعلى للطبقات الأقرب إلى المدخلات، ويقلل تدريجيًا من معدلات التعلم مع 멀ّة بعد الطبقات عن المدخلات. وترتفع معدلات التعلم بسرعات مختلفة خلال التكرارات الأولى للتدريب، حتى تصل جميعها إلى نفس القيمة. ومن هذه النقطة فصاعدًا، يتم تدريب النموذج العصبي بشكل اعتيادي. هذا يُنشئ استراتيجية للتعلم بالمنهاج على مستوى النموذج، لا تتطلب تصنيف العينات حسب الصعوبة، وهي متوافقة مع أي بنية شبكة عصبية، وتحقيق أداءً أعلى بغض النظر عن البنية المعمارية. أجرينا تجارب شاملة على 12 مجموعة بيانات من مجالات الرؤية الحاسوبية (CIFAR-10، CIFAR-100، Tiny ImageNet، ImageNet-200، Food-101، UTKFace، PASCAL VOC)، واللغة (BoolQ، QNLI، RTE)، والصوت (ESC-50، CREMA-D)، مع مراعاة مختلف الهياكل التلافيفية (ResNet-18، Wide-ResNet-50، DenseNet-121، YOLOv5)، والمتكررة (LSTM)، والمحولات (CvT، BERT، SepTr). وقمنا بمقارنة منهجنا مع النظام التقليدي للتدريب، وكذلك مع منهج التعلم بالمنهاج القائم على التمهيد (Curriculum by Smoothing - CBS)، وهو أحد أحدث الطرق المُعتمدة على منهج تعلم لا يعتمد على البيانات. على عكس CBS، فإن تحسينات الأداء التي نحققها مقارنة بالطريقة القياسية ثابتة عبر جميع مجموعات البيانات والنماذج. علاوةً على ذلك، نتفوق بشكل كبير على CBS من حيث زمن التدريب (حيث لا توجد تكلفة إضافية مقابل النظام القياسي في LeRaC). يُتاح كودنا بشكل مجاني عبر الرابط التالي: https://github.com/CroitoruAlin/LeRaC.