HyperAIHyperAI

Command Palette

Search for a command to run...

خصائص التعميم لـ NAS تحت بحث الوظائف التنشيطية ووصلات التخطي

Zhenyu Zhu Fanghui Liu Grigorios G Chrysos Volkan Cevher

الملخص

بحث بنية الشبكات العصبية (NAS) قد ساهم في اكتشاف تلقائي لبنية الشبكات العصبية المتطورة. وعلى الرغم من التقدم المحرز في مجال NAS، إلا أن الاهتمام النظري بضمانات الأداء في هذا المجال ما زال محدودًا. في هذا العمل، ندرس خصائص التعميم في NAS ضمن إطار موحد يتيح البحث عن اتصالات متعددة الطبقات (الطبقة العميقة) والبحث عن دوال التنشيط. ولتحقيق ذلك، نستنتج الحدود الدنيا (والعليا) للقيمة الذاتية الدنيا لـ "نواة المماس العصبي" (NTK) في النطاقات ذات العرض المحدود واللامحدود، باستخدام فضاء بحث معين يشمل دوال تنشيط مختلطة، والشبكات العصبية المتصلة تمامًا، والشبكات العصبية المتبقية (Residual Neural Networks). ونستخدم القيمة الذاتية الدنيا لوضع حدود لخطأ التعميم في تدريب متجه النزول العشوائي (SGD). ومن المهم أن نوضح نظريًا وتجريبيًا كيف يمكن للنتائج المستخلصة أن توجه NAS لاختيار أفضل البنية المعمارية، حتى في حالات عدم التدريب، مما يؤدي إلى خوارزمية خالية من التدريب تعتمد على نظريتنا. وبذلك، تُظهر التحقق العددي الذي أجريناه رؤى مهمة لتصميم طرق فعّالة من حيث الحساب في مجال NAS. ويُعد تحليلنا معقدًا بشكل غير بسيط نظرًا لارتباط مختلف البنى المعمارية ودوال التنشيط ضمن الإطار الموحّد، كما يُشكّل اهتمامًا ذاتيًا في تقديم حد أدنى للقيمة الذاتية الدنيا لنواة المماس العصبي ضمن نظرية التعلم العميق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp