HyperAIHyperAI

Command Palette

Search for a command to run...

البحث عن بنية عصبية قوية خلال أربع ساعات باستخدام وحدة معالجة رسومية واحدة

Xuanyi Dong Yi Yang

الملخص

تعتمد الطرق التقليدية لبحث البنية العصبية (NAS) على التعلم القوي أو الاستراتيجيات التطورية، والتي تستغرق أكثر من 3000 ساعة من استخدام وحدة معالجة الرسومات (GPU) للعثور على نموذج جيد على مجموعة بيانات CIFAR-10. نقترح منهجًا فعّالًا لبحث البنية العصبية يعتمد على التدرج الهابط (gradient descent) لتعلم عملية البحث. يُمثّل منهجنا فضاء البحث كرسم بياني موجه بدون دورات (DAG)، يحتوي على مليارات من الرسوم الفرعية، حيث يمثل كل رسم فرعي نوعًا معينًا من البنية العصبية. ولتجنب استكشاف جميع الاحتمالات الممكنة للرسوم الفرعية، طوّرنا عامل عينة قابل للتفاضل (differentiable sampler) مُعتمد على هذا الرسم البياني. يتميز هذا العامل بالقدرة على التعلّم، ويُحسّن عبر دالة الخسارة في التحقق بعد تدريب البنية المُستخرجة. وبهذا، يمكن تدريب منهجنا بطريقة متكاملة (end-to-end) باستخدام التدرج الهابط، ونُسمّيه بحثًا مبنيًا على التدرج باستخدام عامل عينة بنية عصبية قابلة للتفاضل (GDAS). وفي التجارب، تمكّنا من إكمال عملية البحث في أربع ساعات فقط باستخدام وحدة معالجة رسومات (GPU) على CIFAR-10، وحقق النموذج المكتشف خطأً في الاختبار قدره 2.82% باستخدام فقط 2.5 مليون معلمة، وهو ما يوازي أداء الحالة الراهنة (state-of-the-art). ويُتاح الكود بشكل عام على GitHub: https://github.com/D-X-Y/NAS-Projects.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp