شبكات نادرة من الصفر: التدريب الأسرع دون فقدان الأداء

نوضح إمكانية ما نسميه التعلم النادر: تدريب متسارع للشبكات العصبية العميقة التي تحتفظ بأوزان نادرة طوال فترة التدريب مع تحقيق مستويات أداء كثيفة. نحقق هذا من خلال تطوير الزخم النادر، وهو خوارزمية تستعمل التدرجات المُسَلَّسة أسيًا (الزخم) لتحديد الطبقات والأوزان التي تقلل الخطأ بكفاءة. يقوم الزخم النادر بإعادة توزيع الأوزان المحذوفة عبر الطبقات وفقًا لمتوسط حجم الزخم لكل طبقة. داخل الطبقة، ينمو الزخم النادر الأوزان وفقًا لحجم الزخم للأوزان ذات القيمة الصفرية. نوضح الأداء النادر الرائد على MNIST، CIFAR-10، وImageNet، حيث نقلل من متوسط الخطأ بنسبة 8٪، 15٪، و6٪ مقارنة بالخوارزميات النادرة الأخرى. علاوة على ذلك، نظهر أن الزخم النادر يعيد بثبات إنتاج مستويات الأداء الكثيفة مع توفير تدريب أسرع يصل إلى 5.61 مرة. في تحليلنا، تبين لنا التجارب الإقصائية أن فوائد إعادة توزيع الزخم والنمو تتزايد مع عمق وحجم الشبكة. بالإضافة إلى ذلك، نجد أن الزخم النادر غير حساس لاختيار معلماته الفائقة مما يشير إلى أن الزخم النادر متين وسهل الاستخدام.