البحث عن البنية العصبية دون تدريب

الوقت والجهد المطلوبان لتصميم الشبكات العصبية العميقة يدويًا هما كبيران جدًا. وقد دفع هذا إلى تطوير تقنيات البحث عن الهياكل العصبية (NAS) للتحوّل إلى أتمتة هذه العملية. ومع ذلك، فإن خوارزميات NAS تميل إلى أن تكون بطيئة ومرتفعة التكلفة؛ فهي تحتاج إلى تدريب عدد كبير جدًا من الشبكات المرشحة لتوجيه عملية البحث. ويمكن تخفيف هذه المشكلة إذا استطعنا التنبؤ جزئيًا بدقة الشبكة بعد التدريب من حالته الأولية. في هذا العمل، ندرس تداخل التنشيطات بين نقاط البيانات في الشبكات غير المدربة، ونُبرِز كيف يمكن أن يُمكّن هذا من إيجاد مقياس مفيد يشير بشكل موثوق إلى أداء الشبكة بعد التدريب. ونُدمج هذا المقياس في خوارزمية بسيطة تُمكّننا من البحث عن شبكات قوية دون الحاجة إلى أي تدريب، خلال بضع ثوانٍ على وحدة معالجة واحدة (GPU)، ونتحقق من فعاليتها على مجموعات بيانات NAS-Bench-101، NAS-Bench-201، NATS-Bench، ومساحات تصميم الشبكات (Network Design Spaces). ويمكن دمج نهجنا بسهولة مع أساليب بحث أكثر تكلفة؛ ونُقدّم تكييفًا بسيطًا للبحث التطوري المُنظّم (regularised evolutionary search). وتوفر الكود المطلوب لإعادة إنتاج تجاربنا على الرابط: https://github.com/BayesWatch/nas-without-training.