تنبؤ المعلمات للهياكل العميقة غير المرئية

التعلم العميق حقق نجاحًا في تلقين تصميم الخصائص في أنابيب التعلم الآلي. ومع ذلك، فإن الخوارزميات التي تقوم بتحسين معلمات الشبكات العصبية تظل إلى حد كبير يدوية التصميم وغير فعالة من الناحية الحسابية. ندرس إمكانية استخدام التعلم العميق للتنبؤ مباشرة بهذه المعلمات من خلال استغلال المعرفة السابقة لتدريب شبكات أخرى. نقدم مجموعة بيانات كبيرة ومتنوعة تحتوي على رسومات حاسوبية لتصميمات الشبكات العصبية - DeepNets-1M - ونستخدمها لاستكشاف التنبؤ بالمعلمات على CIFAR-10 و ImageNet. من خلال الاستفادة من التطورات في الشبكات العصبية الرسومية، نقترح هايبرنت (شبكة فائقة) يمكنها التنبؤ بمعلمات ذات أداء جيد في عملية تمرير واحدة تستغرق جزءًا من الثانية، حتى على معالج CPU. يحقق النموذج المقترح أداءً مدهشًا على شبكات غير مألوفة ومتنوعة. على سبيل المثال، يتمكن من التنبؤ بكافة 24 مليون معلمة لشبكة ResNet-50 بدقة تبلغ 60% على CIFAR-10. وعلى ImageNet، تقترب دقة بعض شبكاتنا من 50% في المركز الخامس. يمكن أن يؤدي مهمتنا بالإضافة إلى النموذج والنتائج إلى ظهور نمط جديد وأكثر كفاءة من الناحية الحسابية لتدريب الشبكات. كما أن نموذجنا يتعلم تمثيلًا قويًا للتصميمات العصبية مما يمكّن تحليلها.