البحث عن بنية عصبية قوية خلال أربع ساعات باستخدام وحدة معالجة رسومية واحدة

تعتمد الطرق التقليدية لبحث البنية العصبية (NAS) على التعلم القوي أو الاستراتيجيات التطورية، والتي تستغرق أكثر من 3000 ساعة من استخدام وحدة معالجة الرسومات (GPU) للعثور على نموذج جيد على مجموعة بيانات CIFAR-10. نقترح منهجًا فعّالًا لبحث البنية العصبية يعتمد على التدرج الهابط (gradient descent) لتعلم عملية البحث. يُمثّل منهجنا فضاء البحث كرسم بياني موجه بدون دورات (DAG)، يحتوي على مليارات من الرسوم الفرعية، حيث يمثل كل رسم فرعي نوعًا معينًا من البنية العصبية. ولتجنب استكشاف جميع الاحتمالات الممكنة للرسوم الفرعية، طوّرنا عامل عينة قابل للتفاضل (differentiable sampler) مُعتمد على هذا الرسم البياني. يتميز هذا العامل بالقدرة على التعلّم، ويُحسّن عبر دالة الخسارة في التحقق بعد تدريب البنية المُستخرجة. وبهذا، يمكن تدريب منهجنا بطريقة متكاملة (end-to-end) باستخدام التدرج الهابط، ونُسمّيه بحثًا مبنيًا على التدرج باستخدام عامل عينة بنية عصبية قابلة للتفاضل (GDAS). وفي التجارب، تمكّنا من إكمال عملية البحث في أربع ساعات فقط باستخدام وحدة معالجة رسومات (GPU) على CIFAR-10، وحقق النموذج المكتشف خطأً في الاختبار قدره 2.82% باستخدام فقط 2.5 مليون معلمة، وهو ما يوازي أداء الحالة الراهنة (state-of-the-art). ويُتاح الكود بشكل عام على GitHub: https://github.com/D-X-Y/NAS-Projects.