HyperAIHyperAI
منذ 17 أيام

iDARTS: بحث معمارية قابل للتفاضل مع معدلات تفاضلية صامتة عشوائية

Miao Zhang, Steven Su, Shirui Pan, Xiaojun Chang, Ehsan Abbasnejad, Reza Haffari
iDARTS: بحث معمارية قابل للتفاضل مع معدلات تفاضلية صامتة عشوائية
الملخص

لقد أصبحت طريقة \textit{Differentiable ARchiTecture Search} (DARTS) هي الطريقة الأساسية في بحث الهياكل العصبية (NAS) مؤخرًا بفضل كفاءتها وبساطتها. من خلال عملية تحسين ثنائية المستويات تعتمد على المشتقات، تقوم DARTS بتحديث أوزان النموذج الداخلي ومتغيرات البنية الخارجية بشكل متكرر ضمن شبكة فائقة مشتركة للأوزان. يُعد التحدي الرئيسي المتعلق بالقابلية للتوسع ونوعية الهياكل المُتعلمة هو الحاجة إلى التمييز عبر عملية التحسين الداخلية. وعلى الرغم من أن هناك مناقشات واسعة حول عوامل متعددة قد تكون مدمرة في DARTS، إلا أن مشتقة البنية، المعروفة أيضًا بـ "الهيبيرمُشتق"، لم تلقَ الاهتمام الكافي. في هذه الورقة، نعالج حساب الهيبيرمُشتق في DARTS باستخدام نظرية الدالة الضمنية، مما يجعله يعتمد فقط على الحل الناتج عن عملية التحسين الداخلية، ومستقلًا عن المسار المتبّع في التحسين. ولتقليل متطلبات الحساب بشكل إضافي، نُصوغ تقريبًا عشوائيًا للهيبيرمُشتق في سياق NAS القابلة للتمييز، ونُظهر نظريًا أن عملية تحسين البنية باستخدام الطريقة المقترحة، التي تُسمى iDARTS، من المتوقع أن تتجه نحو نقطة ثابتة. وقد أثبتت التجارب الشاملة على فضائين معياريين لبحث NAS، بالإضافة إلى فضاء البحث الشائع لـ NAS، فعالية الطريقة المقترحة. وقد أدى ذلك إلى توليد هياكل تفوق بكثير تلك التي تُنتجها الطرق الأساسية.

iDARTS: بحث معمارية قابل للتفاضل مع معدلات تفاضلية صامتة عشوائية | أحدث الأوراق البحثية | HyperAI