DARTS-: الخروج بثقة من الانهيار الأداء دون مؤشرات

رغم التطور السريع في بحث الهياكل القابلة للتفاضل (DARTS)، إلا أنها تعاني من عدم استقرار في الأداء منذ فترة طويلة، ما يحد بشكل كبير من تطبيقاتها. تعتمد الطرق الحالية لتعزيز الموثوقية على مؤشرات سلوك متدهور ناتج عن البحث، بدلًا من التوصل إلى العامل المسبب له. وقد تم اقتراح مؤشرات متنوعة مثل القيم الذاتية للمصفوفة الهيسية كإشارات لوقف البحث قبل حدوث انهيار في الأداء. ومع ذلك، فإن هذه الطرق القائمة على المؤشرات تميل إلى رفض الهياكل الجيدة بسهولة إذا كانت الحدود المحددة غير مناسبة، ناهيك عن أن عملية البحث ذاتها تتميز بالضجيج الداخلي. في هذا البحث، نتبع نهجًا أكثر دقة واتجاهًا مباشرًا لحل مشكلة الانهيار. نُظهر أولًا أن الاتصالات المُسَمَّة (skip connections) تمتلك ميزة واضحة مقارنةً بالعمليات المرشحة الأخرى، حيث يمكنها التغلب بسهولة على الحالة غير المواتية والتحول إلى هيمنة. ونفترض أن هذه الميزة هي السبب في انخفاض الأداء. لذلك، نقترح استخلاص هذه الميزة من خلال إدخال اتصال مساعِد (auxiliary skip connection)، لضمان منافسة عادلة بين جميع العمليات. ونُسمّي هذا النهج DARTS- . وقد أثبتت تجارب واسعة على مجموعة متنوعة من المجموعات البيانات أنه يمكنه تحسين الموثوقية بشكل كبير. يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/Meituan-AutoML/DARTS- .