{Michael Carbin Jonathan Frankle}

الملخص

تُقلل تقنيات تخفيف الشبكات العصبية من عدد المعاملات في الشبكات المدربة بنسبة تزيد عن 90٪، مما يقلل من متطلبات التخزين ويعزز الأداء الحسابي للاستنتاج دون التأثير على الدقة. ومع ذلك، فإن الخبرة الحالية تشير إلى أن الهياكل النادرة الناتجة عن عملية التخفيف تكون صعبة التدريب من البداية، وهو ما كان سيؤدي إلى تحسين أداء التدريب أيضًا. نجد أن تقنية التخفيف القياسية تكشف بشكل طبيعي عن شبكات فرعية (subnetworks) تكون مُهيأة منذ البداية لتمكّنها من التدريب بكفاءة. استنادًا إلى هذه النتائج، نطرح "فرضية التذكرة الرابحة": تحتوي الشبكات الكثيفة ذات التهيئة العشوائية والمتسلسلة (feed-forward) على شبكات فرعية (تسمى "التذاكر الرابحة") التي، عند تدريبها بشكل منفصل، تصل إلى دقة اختبار مماثلة للشبكة الأصلية في عدد مشابه من التكرارات. التذاكر الرابحة التي نعثر عليها قد فازت بـ"القرعة الابتدائية": فلها اتصالات تمتلك أوزانًا أولية تجعل التدريب أكثر فعالية. نقدّم خوارزمية لتحديد التذاكر الرابحة، ونُجري سلسلة من التجارب التي تدعم فرضية التذكرة الرابحة وأهمية هذه التهيئة العشوائية المواتية. ونجد بشكل متسق تذاكر رابحة لا تتجاوز حجمها 10-20٪ من حجم عدة هياكل كثيفة الاتصال (fully-connected) وشبكية التباين (convolutional) متسلسلة للبيانات الخاصة بـMNIST وCIFAR10. وبما يتجاوز هذا الحجم، نجد أن التذاكر الرابحة التي نكتشفها تتعلم أسرع من الشبكة الأصلية، وتحقق دقة اختبار عالية.