نقل معمارية الشبكة العصبية

أصبح البحث في البنية العصبية (NAS) طريقًا واعدًا لتصميم آلي لشبكات عصبية مخصصة للمهام. تتطلب الطرق الحالية للـ NAS إجراء بحث كامل لكل مواصفة تطبيقية من حيث الأجهزة أو الأهداف، وهو أمر غير عملي من الناحية الحسابية نظرًا للعدد الكبير المحتمل من سيناريوهات التطبيق. في هذه الورقة، نقترح نقل البنية العصبية (NAT) للتغلب على هذا التحدي. تم تصميم NAT لاستخراج نماذج مخصصة للوظائف بشكل فعّال، بحيث تكون تنافسية في ظل أهداف متعددة ومتضاربة. لتحقيق هذا الهدف، نتعلم "شبكات فائقة مخصصة للمهام" (task-specific supernets) من حيث يمكن سحب شبكات فرعية مخصصة دون الحاجة إلى تدريب إضافي. وجوهر نهجنا يكمن في عملية تعلم نقل متكاملة ومتزامنة مع بحث تطوري متعدد الأهداف (many-objective evolutionary search). يتم تكييف شبكة فائقة مُدرّبة مسبقًا بشكل تكراري، مع استمرار البحث عن شبكات فرعية مخصصة للمهام في نفس الوقت. ونُظهر فعالية NAT على 11 مهمة معيارية لتصنيف الصور، تتراوح من المجموعات الكبيرة ذات الفئات المتعددة إلى المجموعات الصغيرة الدقيقة التفصيل. وفي جميع الحالات، بما في ذلك ImageNet، تُظهر نماذج NATNets تحسينًا على الحد الأقصى الحالي في البيئات المحمولة (≤ 600 مليون عملية ضرب-جمع). وتفاجأنا أن المجموعات الصغيرة الدقيقة التفصيل تحقق أكبر استفادة من NAT. وفي الوقت نفسه، يكون عملية البحث عن البنية ونقلها أكثر كفاءة بدرجات عديدة مقارنة بالطرق الحالية للـ NAS. بشكل عام، تشير التقييمات التجريبية إلى أن NAT تُعد بديلًا أكثر فعالية بشكل ملحوظ من التعلم المنقول التقليدي أو تحسين أوزان بنية شبكة موجودة تم تدريبها على مجموعات بيانات قياسية، وذلك عبر مهام متنوعة لتصنيف الصور وأهداف حسابية مختلفة. يمكن الوصول إلى الكود من خلال: https://github.com/human-analysis/neural-architecture-transfer