البحث العام عن البنية العصبية باستخدام الانحدار

تعمل معظم خوارزميات البحث عن البنية العصبية (NAS) الحالية على تقييمها من خلال المهام النهائية، مثل تصنيف الصور في مجال الرؤية الحاسوبية. ومع ذلك، أظهرت تجارب واسعة أن الهياكل العصبية البارزة، مثل ResNet في الرؤية الحاسوبية وLSTM في معالجة اللغة الطبيعية، تتميز عادةً بقدرتها العالية على استخلاص الأنماط من البيانات المدخلة، وتؤدي بشكل جيد في مهام نهائية مختلفة. في هذه الورقة، نسعى إلى الإجابة على سؤالين أساسيين متعلقين بـ NAS: (1) هل من الضروري استخدام أداء مهام نهائية محددة لتقييم وبحث الهياكل العصبية الجيدة؟ (2) هل يمكننا تنفيذ NAS بكفاءة وفعالية مع التماسك مع المهام النهائية؟ وللإجابة على هذه الأسئلة، نقترح إطارًا جديدًا وشاملًا لـ NAS يُسمى NAS الشامل (GenNAS). لا يستخدم GenNAS تسميات مخصصة للمهام، بل يعتمد على التقدير الانحداري (regression) على مجموعة من قواعد الإشارة الاصطناعية المصممة يدويًا لتقييم البنية. يمكن لهذا المهمة الانحدارية ذاتية التعلم أن تقيّم بفعالية القوة الجوهرية للبنية في التقاط وتحويل أنماط الإشارة المدخلة، وتمكّن من الاستفادة الأكبر من عينات التدريب. أظهرت تجارب واسعة عبر 13 فضاءً لشبكات عصبية تلافيفية (CNN) وفضاءً واحدًا في مجال معالجة اللغة الطبيعية كفاءة مميزة لـ GenNAS عند استخدام الانحدار، من حيث تقييم الهياكل العصبية (مُقاسة بمعامل الارتباط التصاعدي سبيرمان ρ بين الأداء المقرب والنتائج في المهام النهائية) وسرعة التقارب أثناء التدريب (في غضون بضع ثوانٍ).