HyperAIHyperAI

Command Palette

Search for a command to run...

تنبؤ المعلمات للهياكل العميقة غير المرئية

Boris Knyazev; Michal Drozdzal; Graham W. Taylor; Adriana Romero-Soriano

الملخص

التعلم العميق حقق نجاحًا في تلقين تصميم الخصائص في أنابيب التعلم الآلي. ومع ذلك، فإن الخوارزميات التي تقوم بتحسين معلمات الشبكات العصبية تظل إلى حد كبير يدوية التصميم وغير فعالة من الناحية الحسابية. ندرس إمكانية استخدام التعلم العميق للتنبؤ مباشرة بهذه المعلمات من خلال استغلال المعرفة السابقة لتدريب شبكات أخرى. نقدم مجموعة بيانات كبيرة ومتنوعة تحتوي على رسومات حاسوبية لتصميمات الشبكات العصبية - DeepNets-1M - ونستخدمها لاستكشاف التنبؤ بالمعلمات على CIFAR-10 و ImageNet. من خلال الاستفادة من التطورات في الشبكات العصبية الرسومية، نقترح هايبرنت (شبكة فائقة) يمكنها التنبؤ بمعلمات ذات أداء جيد في عملية تمرير واحدة تستغرق جزءًا من الثانية، حتى على معالج CPU. يحقق النموذج المقترح أداءً مدهشًا على شبكات غير مألوفة ومتنوعة. على سبيل المثال، يتمكن من التنبؤ بكافة 24 مليون معلمة لشبكة ResNet-50 بدقة تبلغ 60% على CIFAR-10. وعلى ImageNet، تقترب دقة بعض شبكاتنا من 50% في المركز الخامس. يمكن أن يؤدي مهمتنا بالإضافة إلى النموذج والنتائج إلى ظهور نمط جديد وأكثر كفاءة من الناحية الحسابية لتدريب الشبكات. كما أن نموذجنا يتعلم تمثيلًا قويًا للتصميمات العصبية مما يمكّن تحليلها.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp