البحث الفعّال عن البنية العصبية من خلال مشاركة المعاملات

نُقدِّم طريقة البحث الفعّال في الهياكل العصبية (ENAS)، وهي منهجية سريعة وقليلة التكلفة لتصميم النماذج تلقائيًا. تُنشَأ في ENAS رسمًا حسابيًا كبيرًا، حيث يُمثّل كل جزء فيه بنية شبكة عصبية، مما يُجبر جميع الهياكل على مشاركة معلماتها. يتم تدريب "التحكم" باستخدام خوارزمية التدرج السياسي للبحث عن جزء يُحسّن المكافأة المتوقعة على مجموعة التحقق. في الوقت نفسه، يتم تدريب نموذج يتوافق مع الجزء المختار لتقليل خسارة التباديل التقليدية (cross entropy). إن مشاركة المعلمات بين النماذج الفرعية تُمكّن ENAS من تحقيق أداء تجريبي قوي، مع استخدام عدد أقل بكثير من ساعات العمل على وحدات معالجة الرسوميات (GPU) مقارنة بالأساليب الحالية لتصميم النماذج التلقائي، وبشكل خاص، تُقلّل التكلفة بنسبة 1000 مرة مقارنة بالبحث العصبي القياسي في الهياكل (NAS). على مجموعة بيانات Penn Treebank، تمكّنت ENAS من اكتشاف بنية جديدة تحقق درجة لبَسْقَة اختبار قدرها 56.3، متساوية مع أفضل النتائج المُحقَّقة حاليًا بين جميع الطرق دون الحاجة إلى معالجة ما بعد التدريب. أما على مجموعة بيانات CIFAR-10، فقد وجدت ENAS بنية جديدة تحقق خطأ اختبار قدره 2.89٪، وهو ما يُقاس بمستوى أداء نموذج NASNet (Zoph et al., 2018) الذي بلغ 2.65٪.