هيبو: دفع حدود التحسين الفائق الفعالية للبارامترات الفائقة

في هذه الدراسة، نقوم بتحليل دقيق للافتراضات المتأصلة في مهام ضبط المعلمات الفائقة (hyper-parameter tuning) باستخدام التحسين المغلق (black-box optimisation). تشير نتائجنا على معيار Bayesmark إلى أن التباين غير الثابت (heteroscedasticity) وعدم الثبات (non-stationarity) يشكلان تحديات كبيرة أمام مُحسّنات المربعات المغلقة. استنادًا إلى هذه النتائج، نقترح حلّاً يُسمّى "تحسين بايزي متكافئ ومتغير تطورياً" (Heteroscedastic and Evolutionary Bayesian Optimisation، HEBO). يتميز HEBO بإجراء تحويل غير خطي للمدخلات والمخرجات، ويسمح بتحسين دقيق لاحتمال الحد الأقصى للعوامل (exact marginal log-likelihood optimisation)، كما أنه مقاوم لقيم المعاملات المُستَخلَصة. نُظهر فعالية HEBO التجريبية في تحدي التحسين المغلق لعام 2020 التابع لمؤتمر NeurIPS، حيث احتل HEBO المرتبة الأولى. وبعد تحليل أعمق، لاحظنا أن HEBO يتفوق بشكل ملحوظ على مُحسّنات المربعات المغلقة الحالية في 108 مهمة لضبط المعلمات الفائقة في التعلم الآلي، والتي تشكل معيار Bayesmark. تشير نتائجنا إلى أن معظم مهام ضبط المعلمات الفائقة تُظهر خصائص التباين غير الثابت وعدم الثبات، وأن مجموعات الاستحواذ متعددة الأهداف باستخدام حلول الجبهة البورتية (Pareto front solutions) تُحسّن بشكل كبير التكوينات المطلوبة، كما أن مُحسّنات الاستحواذ المقاومة تُقدّم مزايا تجريبية مقارنة بغيرها من المُحسّنات غير المقاومة. نأمل أن تُشكّل هذه النتائج مبادئ توجيهية لمحترفي التحسين البائيزي. تم إتاحة جميع الشيفرات المصدرية على الرابط التالي: https://github.com/huawei-noah/HEBO.