البحث الفعّال عن الهندسة المعمارية العصبية من خلال مشاركة المعلمات

نقترح البحث السريع والرخيص عن الهندسة العصبية الفعالة (ENAS)، وهو نهج سريع ورخيص لتصميم النماذج تلقائيًا. في ENAS، يتعلم المتحكم على اكتشاف هياكل الشبكات العصبية من خلال البحث عن الرسم البياني الجزئي الأمثل داخل رسم بياني حاسوبي كبير. يتم تدريب المتحكم باستخدام التدرجات السياسية لاختيار رسم بياني جزئي يحقق أعلى مكافأة متوقعة على مجموعة التحقق. وفي الوقت نفسه، يتم تدريب النموذج المقابل للرسم البياني الجزئي المختار لتقليل خسارة الإنتروبيا التقليدية. بفضل مشاركة المعلمات بين النماذج الفرعية، فإن ENAS سريع: فهو يحقق أداءً قويًا من الناحية التجريبية باستخدام عدد أقل بكثير من ساعات الوحدات المعالجة الرسومية (GPU) مقارنة بكل الطرق الحالية لتصميم النماذج تلقائيًا، ومن الجدير بالذكر أنه أرخص بمقدار 1000 مرة من البحث القياسي عن الهندسة العصبية. على مجموعة بيانات Penn Treebank، يكتشف ENAS هيكلًا جديدًا يحقق تعقيد اختبار قدره 55.8، مما يحدد حالة جديدة فريدة من نوعها بين جميع الأساليب دون معالجة ما بعد التدريب. وعلى مجموعة بيانات CIFAR-10، يصمم ENAS هياكل جديدة تحقق خطأ اختبار قدره 2.89٪، وهو ما يعادل أداء NASNet (Zoph et al., 2018)، الذي حقق خطأ اختبار قدره 2.65٪.