IS-DARTS: تثبيت DARTS من خلال القياس الدقيق لقيمة المرشحين

من بين الطرق الحالية لاستكشاف الهياكل العصبية، يُعرف DARTS بقدرته على الكفاءة والبساطة. ويُطبّق هذا النهج تخفيفًا مستمرًا لتمثيل الشبكة لبناء شبكة فائقة مشتركة للوزن (weight-sharing supernet)، مما يمكّن من تحديد شبكات فرعية ممتازة خلال بضع أيام فقط من استخدام وحدة معالجة الرسوميات (GPU). ومع ذلك، فإن انهيار الأداء في DARTS يؤدي إلى ظهور هياكل ضعيفة مملوءة بعمليات خالية من المعاملات، وهو ما يظل تحديًا كبيرًا لثبات النظام. لحل هذه المشكلة، نُظهر من خلال تحليل نظري وتجريبي أن السبب الجذري هو التقدير المتحيّز لأهمية المرشحات داخل فضاء البحث، ونختار العمليات بشكل أكثر دقة باستخدام مقاييس تعتمد على المعلومات. علاوةً على ذلك، نُظهر أن الاهتمام المفرط بالشبكة الفائقة (supernet) واستخدام غير فعّال للبيانات في عملية التحسين ثنائية المستوى هو أيضًا سبب رئيسي في النتائج غير المثلى. ولذلك، نعتمد هدفًا أكثر واقعية يركّز على أداء الشبكات الفرعية، ونُبسط هذا الهدف باستخدام المقاييس القائمة على المعلومات. وأخيرًا، نُقدّم تفسيرًا نظريًا يوضح سبب الحاجة إلى تضييق عرض الشبكة الفائقة تدريجيًا، مما يقلل من خطأ التقريب في الوزن الأمثل في DARTS. يُسمّى المنهج المقترح IS-DARTS، وهو يُحسّن بشكل شامل أداء DARTS ويحل المشكلات المذكورة أعلاه. وقد أظهرت تجارب واسعة على مجموعتي بيانات NAS-Bench-201 ومساحة البحث المستندة إلى DARTS فعالية IS-DARTS.