HyperAIHyperAI

Command Palette

Search for a command to run...

بانياناس: تحسين بايزي مع المعمارية العصبية لبحث المعمارية العصبية

Colin White Willie Neiswanger Yash Savani

الملخص

خلال الخمس سنوات الماضية، تم اقتراح العديد من الطرق لبحث الهيكل العصبي (NAS). وقد ظهرت طريقة التحسين بايزي (BO)، التي حققت نجاحًا طويل الأمد في تحسين المعامِلات الفائقة (Hyperparameter Optimization)، مؤخرًا كاستراتيجية واعدة جدًا لـ NAS عندما تُدمج مع نموذج تنبؤي عصبي. وقد اقترح العمل الأخير نماذج مختلفة لهذا الإطار، مثلاً باستخدام الشبكات العصبية بايزيّة أو الشبكات التلافيفية الرسومية كنموذج تنبؤي ضمن BO. لكن التحليلات الواردة في هذه الدراسات غالبًا ما تركز على الخوارزمية الكاملة لـ NAS، مما يجعل من الصعب تحديد أي مكوّن فردي ضمن الإطار هو السبب في الأداء المتفوّق.في هذا العمل، نقدّم تحليلًا شاملاً للإطار المُسمّى "BO + نموذج تنبؤي عصبي"، من خلال تحديد خمسة مكونات رئيسية: ترميز الهيكل، النموذج التنبؤي العصبي، طريقة معايرة عدم اليقين، دالة الاستخلاص (acquisition function)، واستراتيجية تحسين استخلاص القيمة. ونختبر عدة طرق مختلفة لكل مكوّن، كما نطوّر تقنية ترميز جديدة تعتمد على المسارات (path-based encoding) لتمثيل الهياكل العصبية، ونُظهر نظريًا وتجريبيًا أن هذه الطريقة تُظهر أداءً أفضل من الترميزات الأخرى من حيث التوسع (scalability). وباستخدام جميع تحليلاتنا، نطوّر خوارزمية نهائية تُسمّى BANANAS، التي تحقق أداءً متفوّقًا على مستوى الحالات البحثية لـ NAS. ونلتزم بقائمة التحقق من أبحاث NAS (Lindauer and Hutter 2019) لتعزيز الممارسات المثلى، كما أن الشفرة البرمجية الخاصة بنا متاحة على الرابط التالي: https://github.com/naszilla/naszilla.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
بانياناس: تحسين بايزي مع المعمارية العصبية لبحث المعمارية العصبية | مستندات | HyperAI