BaLeNAS: بحث معمارية قابل للتفاضل من خلال قاعدة التعلم بايزية

لقد لاقت بحث الهيكل القابل للتمايز (DARTS) اهتمامًا كبيرًا في السنوات الأخيرة، وذلك أساسًا بسبب تقليلها الكبير للتكلفة الحسابية من خلال مشاركة الأوزان والتخفيف المستمر. ومع ذلك، تبيّن في الدراسات الحديثة أن التقنيات الحالية لبحث الهيكل القابل للتمايز تواجه صعوبة في التفوق على النماذج البسيطة، مما يؤدي إلى توليد هياكل متدهورة مع تقدم عملية البحث. بدلًا من تحسين معاملات الهيكل مباشرة، تُقدّم هذه الورقة نموذجًا لبحث الهيكل العصبي كمشكلة تعلم التوزيع، وذلك من خلال تحويل معاملات الهيكل إلى توزيعات غاوسيّة. وباستخدام تقنية الاستدلال التبايني بالمنحدر الطبيعي (NGVI)، يمكن تحسين توزيع الهيكل بسهولة باستخدام الأكواد الحالية دون الحاجة إلى استهلاك إضافي للذاكرة أو الموارد الحسابية. نُظهر كيف يُستفيد بحث الهيكل القابل للتمايز من المبادئ البايزية، مما يعزز الاستكشاف ويعزز الاستقرار. وقد أكدت النتائج التجريبية على مجموعتي البيانات المرجعيتين NAS-Bench-201 و NAS-Bench-1shot1 التحسينات الملموسة التي يمكن تحقيقها من خلال الإطار المقترح. علاوةً على ذلك، بدلًا من تطبيق العمليّة argmax مباشرة على المعاملات المُتعلّمة، نستفيد من مُعَيّنات التدريب المجانيّة الحديثة في مجال البحث عن الهيكل (NAS) لاختيار الهيكل الأمثل من مجموعة من الهياكل المستخرجة من التوزيع المُحسّن، حيث نحقق نتائج رائدة على مجموعتي البيانات NAS-Bench-201 و NAS-Bench-1shot1. كما حقق أفضل هيكل لدينا ضمن فضاء DARTS أخطاء اختبار تنافسية بنسبة 2.37% و15.72% و24.2% على مجموعات بيانات CIFAR-10 و CIFAR-100 و ImageNet على التوالي.