DrNAS: بحث هندسة الشبكة العصبية باستخدام التوزيع ديريشليت

تُقدّم هذه الورقة منهجية جديدة للبحث المُتدرّج في الهياكل المعمارية، من خلال صياغتها كمشكلة تعلّم توزيعي. نُعامل أوزان المزيج المُتَنَوِّع باستمرار للهياكل المعمارية كمتغيرات عشوائية، ونُمثّلها باستخدام التوزيع ديريشليت. وباستخدام المشتقات المُباشرة (pathwise derivatives) التي تم تطويرها حديثًا، يمكن تحسين معاملات التوزيع ديريشليت بسهولة باستخدام مُحسّنات تعتمد على التدرج بطريقة مُتسلسلة (end-to-end). تُحسّن هذه الصياغة قدرة التعميم، وتنشئ تباعًا عشوائيًا يُشجّع بشكل طبيعي على الاستكشاف داخل فضاء البحث. علاوةً على ذلك، لتقليص استهلاك الذاكرة الكبير الناتج عن البحث المُتدرّج في الهياكل (differentiable NAS)، نقترح خطة تعلّم تدريجية بسيطة ولكن فعّالة، تُمكّن من إجراء البحث مباشرة على المهام ذات الحجم الكبير، وتحذف الفجوة بين مراحل البحث والتقييم. تُظهر التجارب الواسعة فعالية منهجنا. بشكل خاص، نحصل على خطأ اختبار قدره 2.46% على CIFAR-10، و23.7% على ImageNet في الإعداد المتنقل. وعلى NAS-Bench-201، نحقق أيضًا نتائج من الطراز الرائد (state-of-the-art) في جميع المجموعات الثلاث، ونقدّم رؤى حول التصميم الفعّال لخوارزميات البحث في الهياكل العصبية.