HyperAIHyperAI

Command Palette

Search for a command to run...

DrNAS: بحث هندسة الشبكة العصبية باستخدام التوزيع ديريشليت

Xiangning Chen Ruochen Wang Minhao Cheng Xiaocheng Tang Cho-Jui Hsieh

الملخص

تُقدّم هذه الورقة منهجية جديدة للبحث المُتدرّج في الهياكل المعمارية، من خلال صياغتها كمشكلة تعلّم توزيعي. نُعامل أوزان المزيج المُتَنَوِّع باستمرار للهياكل المعمارية كمتغيرات عشوائية، ونُمثّلها باستخدام التوزيع ديريشليت. وباستخدام المشتقات المُباشرة (pathwise derivatives) التي تم تطويرها حديثًا، يمكن تحسين معاملات التوزيع ديريشليت بسهولة باستخدام مُحسّنات تعتمد على التدرج بطريقة مُتسلسلة (end-to-end). تُحسّن هذه الصياغة قدرة التعميم، وتنشئ تباعًا عشوائيًا يُشجّع بشكل طبيعي على الاستكشاف داخل فضاء البحث. علاوةً على ذلك، لتقليص استهلاك الذاكرة الكبير الناتج عن البحث المُتدرّج في الهياكل (differentiable NAS)، نقترح خطة تعلّم تدريجية بسيطة ولكن فعّالة، تُمكّن من إجراء البحث مباشرة على المهام ذات الحجم الكبير، وتحذف الفجوة بين مراحل البحث والتقييم. تُظهر التجارب الواسعة فعالية منهجنا. بشكل خاص، نحصل على خطأ اختبار قدره 2.46% على CIFAR-10، و23.7% على ImageNet في الإعداد المتنقل. وعلى NAS-Bench-201، نحقق أيضًا نتائج من الطراز الرائد (state-of-the-art) في جميع المجموعات الثلاث، ونقدّم رؤى حول التصميم الفعّال لخوارزميات البحث في الهياكل العصبية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp