خصائص التعميم لـ NAS تحت بحث الوظائف التنشيطية ووصلات التخطي

بحث بنية الشبكات العصبية (NAS) قد ساهم في اكتشاف تلقائي لبنية الشبكات العصبية المتطورة. وعلى الرغم من التقدم المحرز في مجال NAS، إلا أن الاهتمام النظري بضمانات الأداء في هذا المجال ما زال محدودًا. في هذا العمل، ندرس خصائص التعميم في NAS ضمن إطار موحد يتيح البحث عن اتصالات متعددة الطبقات (الطبقة العميقة) والبحث عن دوال التنشيط. ولتحقيق ذلك، نستنتج الحدود الدنيا (والعليا) للقيمة الذاتية الدنيا لـ "نواة المماس العصبي" (NTK) في النطاقات ذات العرض المحدود واللامحدود، باستخدام فضاء بحث معين يشمل دوال تنشيط مختلطة، والشبكات العصبية المتصلة تمامًا، والشبكات العصبية المتبقية (Residual Neural Networks). ونستخدم القيمة الذاتية الدنيا لوضع حدود لخطأ التعميم في تدريب متجه النزول العشوائي (SGD). ومن المهم أن نوضح نظريًا وتجريبيًا كيف يمكن للنتائج المستخلصة أن توجه NAS لاختيار أفضل البنية المعمارية، حتى في حالات عدم التدريب، مما يؤدي إلى خوارزمية خالية من التدريب تعتمد على نظريتنا. وبذلك، تُظهر التحقق العددي الذي أجريناه رؤى مهمة لتصميم طرق فعّالة من حيث الحساب في مجال NAS. ويُعد تحليلنا معقدًا بشكل غير بسيط نظرًا لارتباط مختلف البنى المعمارية ودوال التنشيط ضمن الإطار الموحّد، كما يُشكّل اهتمامًا ذاتيًا في تقديم حد أدنى للقيمة الذاتية الدنيا لنواة المماس العصبي ضمن نظرية التعلم العميق.