استكشاف هندسة الخسارة في البحث عن البنية العصبية

شهدت بحوث بنية الشبكات العصبية (NAS) ارتفاعًا حادًا في الاهتمام خلال السنوات الأخيرة. تتكوّن العديد من خوارزميات NAS من عملية البحث عبر فضاء هندسيات معمارية من خلال اختيار تكراري لهندسة معينة، ثم تقييم أدائها عبر تدريبها، واستخدام جميع التقييمات السابقة لاتخاذ القرار التالي. يُعدّ مرحلة التقييم هذه مشوّشة، إذ تختلف الدقة النهائية وفقًا للتهيئة العشوائية للوزن. ركّزت الأبحاث السابقة على تطوير خوارزميات بحث جديدة للتعامل مع هذا الضجيج، بدلًا من قياس أو فهم مدى الضجيج في تقييمات الهياكل المعمارية. في هذا العمل، نُظهر أن (1) أبسط خوارزمية للصعود التدريجي (hill-climbing) تمثل قاعدة قوية لـ NAS، و(2) عند تقليل الضجيج في مجموعات البيانات القياسية الشهيرة لـ NAS إلى أدنى حد ممكن، فإن خوارزمية الصعود التدريجي تتفوّق على العديد من الخوارزميات المتطورة الرائدة حاليًا. ونُعزّز هذه الملاحظة ببيان أن عدد الحدود المحلية (local minima) ينخفض بشكل كبير مع تقليل الضجيج، كما نقدّم تحليلًا نظريًا لأداء البحث المحلي في سياق NAS. استنادًا إلى نتائجنا، نقترح لبحث NAS: (1) استخدام البحث المحلي كقاعدة مقارنة، و(2) تقليل الضجيج في خط أنابيب التدريب عند الإمكان.