HyperAIHyperAI

Command Palette

Search for a command to run...

فرضية التذكرة المُنتظرة: العثور على شبكات عصبية نادرة قابلة للتدريب

Michael Carbin Jonathan Frankle

الملخص

تُقلل تقنيات تخفيف الشبكات العصبية من عدد المعاملات في الشبكات المدربة بنسبة تزيد عن 90٪، مما يقلل من متطلبات التخزين ويعزز الأداء الحسابي للاستنتاج دون التأثير على الدقة. ومع ذلك، فإن الخبرة الحالية تشير إلى أن الهياكل النادرة الناتجة عن عملية التخفيف تكون صعبة التدريب من البداية، وهو ما كان سيؤدي إلى تحسين أداء التدريب أيضًا. نجد أن تقنية التخفيف القياسية تكشف بشكل طبيعي عن شبكات فرعية (subnetworks) تكون مُهيأة منذ البداية لتمكّنها من التدريب بكفاءة. استنادًا إلى هذه النتائج، نطرح "فرضية التذكرة الرابحة": تحتوي الشبكات الكثيفة ذات التهيئة العشوائية والمتسلسلة (feed-forward) على شبكات فرعية (تسمى "التذاكر الرابحة") التي، عند تدريبها بشكل منفصل، تصل إلى دقة اختبار مماثلة للشبكة الأصلية في عدد مشابه من التكرارات. التذاكر الرابحة التي نعثر عليها قد فازت بـ"القرعة الابتدائية": فلها اتصالات تمتلك أوزانًا أولية تجعل التدريب أكثر فعالية. نقدّم خوارزمية لتحديد التذاكر الرابحة، ونُجري سلسلة من التجارب التي تدعم فرضية التذكرة الرابحة وأهمية هذه التهيئة العشوائية المواتية. ونجد بشكل متسق تذاكر رابحة لا تتجاوز حجمها 10-20٪ من حجم عدة هياكل كثيفة الاتصال (fully-connected) وشبكية التباين (convolutional) متسلسلة للبيانات الخاصة بـMNIST وCIFAR10. وبما يتجاوز هذا الحجم، نجد أن التذاكر الرابحة التي نكتشفها تتعلم أسرع من الشبكة الأصلية، وتحقق دقة اختبار عالية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
فرضية التذكرة المُنتظرة: العثور على شبكات عصبية نادرة قابلة للتدريب | مستندات | HyperAI