التدريب النادر من خلال تعزيز مرونة التقطيع باستخدام إعادة تأهيل الأعصاب

أثارت الأبحاث المتعلقة بفرضية تذكرة اليانصيب (LTH) وتقنيات القص الفوري للشبكة (SNIP) اهتمامًا كبيرًا حاليًا في مجالات القص بعد التدريب (القص التكراري حسب الحجم) والقص قبل التدريب (القص عند التهيئة الأولية). تواجه الطريقة الأولى تكلفة حسابية هائلة، بينما تعاني الطريقة الثانية غالبًا من أداء غير كافٍ. وعلى النقيض من ذلك، يظل القص أثناء التدريب – وهي فئة من طرق القص التي تجمع بين كفاءة التدريب والاستدلال وأداء مماثل – أقل استكشافًا حتى الآن. ولتحسين الفهم لآلية القص أثناء التدريب، قمنا بدراسة كمية لتأثير القص طوال عملية التدريب من منظور "مرونة القص" (أي قدرة الشبكات المقصوصة على استعادة الأداء الأصلي). وتكشف مرونة القص عن تفسير لعدة ملاحظات تجريبية أخرى حول قص الشبكات العصبية في الأدبيات. ووجدنا أيضًا أن مرونة القص يمكن تحسينها بشكل كبير من خلال دمج آلية مُلهمة من الدماغ تُسمى "إعادة التكوين العصبي" (neuroregeneration)، أي إعادة تكوين نفس عدد الاتصالات التي تم قصها. وقد طوّرنا طريقة جديدة للقص التدريجي حسب الحجم، تُسمى "القص التدريجي مع إعادة تكوين عصبي بدون تكلفة" (GraNet)، والتي تُعدّ من أحدث الإنجازات في هذا المجال. وبشكل ربما يُعدّ الأكثر إثارة، تمكّنت النسخة "من نادر إلى نادر" (sparse-to-sparse) من GraNet لأول مرة من تحسين أداء التدريب من نادر إلى نادر عبر عدة طرق من نادر إلى نادر (dence-to-sparse) باستخدام نموذج ResNet-50 على مجموعة بيانات ImageNet، دون الحاجة إلى تمديد وقت التدريب. ونُشر كل كود البرنامج على الرابط التالي: https://github.com/Shiweiliuiiiiiii/GraNet.