HyperAIHyperAI
منذ 18 أيام

DU-DARTS: تقليل عدم اليقين في البحث المعماري القابل للتفاضل

{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}
DU-DARTS: تقليل عدم اليقين في البحث المعماري القابل للتفاضل
الملخص

تحظى بحثًا واسعًا في الأوساط الأكاديمية حديثًا بفضل كفاءتها العالية، حيث يجذب بحث التصميم المعماري العصبي القابل للتفاضل (DARTS) اهتمامًا كبيرًا. ومع ذلك، فإن المنافسة بين العمليات المرشحة في DARTS تُحدث عدم يقين كبير عند اختيار العملية الفعلية المهمة، ما يؤدي إلى انهيار كبير في الأداء. في هذا العمل، نقلل من عدم اليقين في عملية التصميم المعماري القابلة للتفاضل (DU-DARTS) من خلال إجبار توزيع معلمات التصميم على الاقتراب من التوزيع الفردي (one-hot categorical distribution)، وباستبدال العملية الصفرية بمساحة مفاتيح (gate switch). وبلا أي تكلفة إضافية للبحث، تحقق طريقةنا أداءً من الدرجة الأولى (state-of-the-art) مع أخطاء تجريبية بنسبة 2.32% و16.74% و24.1% على مجموعات بيانات CIFAR-10 وCIFAR-100 وImageNet على التوالي. علاوةً على ذلك، يمكن لـ DU-DARTS أن تجد بثقة معمارية ممتازة على مجموعتي بيانات NAS-Bench-1Shot1 وNAS-Bench-201، مما يُظهر بشكل إضافي فعالية طريقتنا. يمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/ShunLu91/DU-DARTS.

DU-DARTS: تقليل عدم اليقين في البحث المعماري القابل للتفاضل | أحدث الأوراق البحثية | HyperAI