HyperAIHyperAI

Command Palette

Search for a command to run...

هيبو: دفع حدود التحسين الفائق الفعالية للبارامترات الفائقة

الملخص

في هذه الدراسة، نقوم بتحليل دقيق للافتراضات المتأصلة في مهام ضبط المعلمات الفائقة (hyper-parameter tuning) باستخدام التحسين المغلق (black-box optimisation). تشير نتائجنا على معيار Bayesmark إلى أن التباين غير الثابت (heteroscedasticity) وعدم الثبات (non-stationarity) يشكلان تحديات كبيرة أمام مُحسّنات المربعات المغلقة. استنادًا إلى هذه النتائج، نقترح حلّاً يُسمّى "تحسين بايزي متكافئ ومتغير تطورياً" (Heteroscedastic and Evolutionary Bayesian Optimisation، HEBO). يتميز HEBO بإجراء تحويل غير خطي للمدخلات والمخرجات، ويسمح بتحسين دقيق لاحتمال الحد الأقصى للعوامل (exact marginal log-likelihood optimisation)، كما أنه مقاوم لقيم المعاملات المُستَخلَصة. نُظهر فعالية HEBO التجريبية في تحدي التحسين المغلق لعام 2020 التابع لمؤتمر NeurIPS، حيث احتل HEBO المرتبة الأولى. وبعد تحليل أعمق، لاحظنا أن HEBO يتفوق بشكل ملحوظ على مُحسّنات المربعات المغلقة الحالية في 108 مهمة لضبط المعلمات الفائقة في التعلم الآلي، والتي تشكل معيار Bayesmark. تشير نتائجنا إلى أن معظم مهام ضبط المعلمات الفائقة تُظهر خصائص التباين غير الثابت وعدم الثبات، وأن مجموعات الاستحواذ متعددة الأهداف باستخدام حلول الجبهة البورتية (Pareto front solutions) تُحسّن بشكل كبير التكوينات المطلوبة، كما أن مُحسّنات الاستحواذ المقاومة تُقدّم مزايا تجريبية مقارنة بغيرها من المُحسّنات غير المقاومة. نأمل أن تُشكّل هذه النتائج مبادئ توجيهية لمحترفي التحسين البائيزي. تم إتاحة جميع الشيفرات المصدرية على الرابط التالي: https://github.com/huawei-noah/HEBO.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp