بانياناس: تحسين بايزي مع المعمارية العصبية لبحث المعمارية العصبية

خلال الخمس سنوات الماضية، تم اقتراح العديد من الطرق لبحث الهيكل العصبي (NAS). وقد ظهرت طريقة التحسين بايزي (BO)، التي حققت نجاحًا طويل الأمد في تحسين المعامِلات الفائقة (Hyperparameter Optimization)، مؤخرًا كاستراتيجية واعدة جدًا لـ NAS عندما تُدمج مع نموذج تنبؤي عصبي. وقد اقترح العمل الأخير نماذج مختلفة لهذا الإطار، مثلاً باستخدام الشبكات العصبية بايزيّة أو الشبكات التلافيفية الرسومية كنموذج تنبؤي ضمن BO. لكن التحليلات الواردة في هذه الدراسات غالبًا ما تركز على الخوارزمية الكاملة لـ NAS، مما يجعل من الصعب تحديد أي مكوّن فردي ضمن الإطار هو السبب في الأداء المتفوّق.في هذا العمل، نقدّم تحليلًا شاملاً للإطار المُسمّى "BO + نموذج تنبؤي عصبي"، من خلال تحديد خمسة مكونات رئيسية: ترميز الهيكل، النموذج التنبؤي العصبي، طريقة معايرة عدم اليقين، دالة الاستخلاص (acquisition function)، واستراتيجية تحسين استخلاص القيمة. ونختبر عدة طرق مختلفة لكل مكوّن، كما نطوّر تقنية ترميز جديدة تعتمد على المسارات (path-based encoding) لتمثيل الهياكل العصبية، ونُظهر نظريًا وتجريبيًا أن هذه الطريقة تُظهر أداءً أفضل من الترميزات الأخرى من حيث التوسع (scalability). وباستخدام جميع تحليلاتنا، نطوّر خوارزمية نهائية تُسمّى BANANAS، التي تحقق أداءً متفوّقًا على مستوى الحالات البحثية لـ NAS. ونلتزم بقائمة التحقق من أبحاث NAS (Lindauer and Hutter 2019) لتعزيز الممارسات المثلى، كما أن الشفرة البرمجية الخاصة بنا متاحة على الرابط التالي: https://github.com/naszilla/naszilla.