بحث عشوائي في هندسة الشبكات العصبية (SNAS): Stochastic Neural Architecture Search

نقترح البحث العشوائي عن العمارة العصبية (SNAS)، وهو حل اقتصادي من البداية إلى النهاية للبحث عن العمارة العصبية (NAS) يدرب معلمات العمليات العصبية ومعلمات توزيع العمارة في نفس دورة التراجع الخلفي، مع الحفاظ على شمولية وقابلية الاشتقاق لخط أنابيب NAS. في هذا العمل، يتم إعادة صياغة NAS كمشكلة تحسين على معلمات توزيع مشترك للم공 الفراغي داخل الخلية. للاستفادة من المعلومات التدرجية في الخسارة القابلة للاشتقاق بشكل عام للبحث عن العمارة، تم اقتراح تدرج بحث جديد. نثبت أن هذا التدرج البحثي يحسن نفس الهدف الذي يحسن NAS المستند إلى التعلم التعزيزي، ولكنه يوزع الائتمانات على القرارات الهيكلية بكفاءة أكبر. يتم تعزيز هذا التوزيع للائتمان بمكافأة قابلة للتفكيك محليًا لفرض قيد فعال للموارد. في التجارب على CIFAR-10، يستغرق SNAS عددًا أقل من الدورات لاكتشاف عمارة خلية ذات دقة رائدة عالميًا مقارنة بـ NAS المستند إلى التطور غير القابل للاشتقاق والتعلم التعزيزي، وهي قابلة للنقل إلى ImageNet. كما أظهرت النتائج أن شبكات الأطفال التابعة لـ SNAS يمكنها الحفاظ على دقة التحقق أثناء البحث، بينما يتطلب NAS القائم على الانتباه إعادة تدريب المعلمات للمنافسة، مما يظهر إمكانات لتحقيق NAS فعال على مجموعات بيانات كبيرة. لقد أطلقنا تنفيذنا في https://github.com/SNAS-Series/SNAS-Series.