بحث في الهندسة المعمارية للشبكات العصبية باستخدام الأمثلة النقلية والتحسين البيزياني

التحسين البيزي (BO) يشير إلى فئة من الطرق المستخدمة في التحسين العالمي لدالة $f$ التي يمكن الوصول إليها فقط عبر تقييمات نقاطية. يتم استخدامه عادةً في الحالات التي تكون فيها دالة $f$ باهظة الثمن للتقييم. حالة استخدام شائعة للتحسين البيزي في التعلم الآلي هي اختيار النموذج، حيث لا يمكن نمذجة الأداء العام للنموذج الإحصائي بشكل تحليلي، ونتوجه إلى إجراءات التدريب والتحقق الصاخبة والباهظة الثمن لاختيار أفضل نموذج. ركزت الطرق التقليدية للتحسين البيزي على المجالات الأقليدية والمصنفة، مما يسمح فقط بضبط المعلمات الفائقة العددية لخوارزميات التعلم الآلي. ومع ذلك، مع زيادة الاهتمام بالتعلم العميق، هناك طلب متزايد على ضبط \emph{الهياكل العصبية} (neural network architectures). في هذا العمل، قمنا بتطوير NASBOT، وهو إطار عمل للتحسين البيزي يستند إلى عملية غاوسية لبحث الهيكل العصبي. لتحقيق هذا الغرض، قمنا بتطوير مقياس المسافة في فضاء هياكل الشبكات العصبية يمكن حسابه بكفاءة عبر برنامج النقل الأمثل. قد يكون هذا المقياس المسافة ذات اهتمام مستقل لدى مجتمع التعلم العميق لأنه قد يجد تطبيقات خارج نطاق التحسين البيزي. نوضح أن NASBOT يتفوق على البدائل الأخرى لبحث الهيكل في العديد من مهام اختيار النموذج القائمة على التحقق المتقاطع باستخدام شبكات المتعدد الطبقات (multi-layer perceptrons) والشبكات العصبية التجعيدية (convolutional neural networks).