HyperAIHyperAI

Command Palette

Search for a command to run...

ΛΛΛ-DARTS: التخفيف من انهيار الأداء من خلال تحقيق التوازن في اختيار العمليات بين الخلايا

Sajad Movahedi Melika Adabinejad Ayyoob Imani Arezou Keshavarz Mostafa Dehghani Azadeh Shakery Babak N. Araabi

الملخص

يُعدّ البحث المعماري العصبي القابل للتفاضل (DARTS) طريقة شائعة في مجال البحث المعماري العصبي (NAS)، حيث يُجري عملية البحث عن الخلايا باستخدام تخفيف مستمر لتحسين كفاءة البحث من خلال التحسين القائم على التفاضل. وتشكل "انهيار الأداء" (performance collapse) الشوهة الرئيسية في DARTS، حيث يعاني المعمار المكتشف من نمط تدهور في الجودة أثناء عملية البحث. وقد أصبحت مشكلة انهيار الأداء موضوعًا بحثيًا مهمًا، حيث حاول العديد من الأساليب معالجة هذه المشكلة إما من خلال الت régularization أو من خلال تغييرات جوهرية في هيكل DARTS. ومع ذلك، لم يتم بعد تحليل إطار مشاركة الأوزان المستخدم في عملية البحث عن الخلايا في DARTS، ولا تقارب معلمات الهيكل. في هذا البحث، نقدم تحليلًا نظريًا وتجريبيًا شاملاً وحديثًا لـ DARTS ونقطة تقاربها. ونُظهر أن DARTS يعاني من عيب هيكلية محددة ناتجة عن إطار مشاركة الأوزان، والذي يُحد من تقارب DARTS إلى نقاط تشبع دالة السوفت ماكس. وتُمنح هذه النقطة من التقارب ميزة غير عادلة للطبقات الأقرب إلى المخرج في اختيار الهيكل الأمثل، مما يؤدي إلى انهيار الأداء. ثم نقترح حلين جديدين لعوامل الت régularization، تهدف إلى منع انهيار الأداء من خلال تحقيق توازن في اختيار العمليات عبر محاذاة متجهات التدرج بين الطبقات. وأظهرت النتائج التجريبية على ستة فضاءات بحث مختلفة وثلاثة مجموعات بيانات مختلفة أن طريقةنا (Λ-DARTS) تمنع فعلاً انهيار الأداء، مما يُبرر التحليل النظري الذي قدمناه والعلاج المقترح.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
$Λ$-DARTS: التخفيف من انهيار الأداء من خلال تحقيق التوازن في اختيار العمليات بين الخلايا | مستندات | HyperAI