HyperAIHyperAI

Command Palette

Search for a command to run...

NAS-LID: بحث معماري عصبي كفؤ مع البُعد الداخلي المحلي

Xin He Jiangchao Yao Yuxin Wang Zhenheng Tang Ka Chu Cheung Simon See Bo Han Xiaowen Chu

الملخص

يُحسّن البحث الفوري في البنية العصبية (NAS) بشكل كبير كفاءة البحث من خلال تدريب شبكة فائقة واحدة لتقدير أداء كل بنية فرعية ممكنة (أي شبكة فرعية). ومع ذلك، فإن عدم اتساق الخصائص بين الشبكات الفرعية يؤدي إلى تداخل كبير أثناء التحسين، مما ينتج عنه ارتباط ضعيف في ترتيب الأداء بين الشبكات الفرعية. وقد سعّرت الدراسات اللاحقة إلى تفكيك أوزان الشبكة الفائقة باستخدام معيار معين، مثل مطابقة المتجهات التدرجية، لتقليل هذا التداخل؛ لكنها تعاني من تكلفة حسابية كبيرة وانفصال مكاني منخفض. في هذا العمل، نقترح طريقة فعّالة وخفيفة الوزن تعتمد على البُعد الداخلي المحلي (LID)، تُعرف بـ NAS-LID. تعتمد NAS-LID على تقييم الخصائص الهندسية للبنية من خلال حساب خصائص LID منخفضة التكلفة طبقةً تلو الأخرى، وتشتهر ميزة التشابه المميزة بواسطة LID بقدر أكبر من الانفصال مقارنةً بالمتغيرات التدرجية، مما يقلل بشكل فعّال من التداخل بين الشبكات الفرعية. أظهرت التجارب الواسعة على مجموعة بيانات NASBench-201 أن NAS-LID تحقق أداءً متفوّقًا مع كفاءة أعلى. وبشكل خاص، مقارنةً بالأساليب المعتمدة على التدرجات، يمكن لـ NAS-LID توفير ما يصل إلى 86٪ من الحمل على ذاكرة وحدة معالجة الرسومات (GPU) أثناء عملية البحث على NASBench-201. كما نُظِر إلى فعالية NAS-LID على فراغات ProxylessNAS وOFA. الكود المصدري: https://github.com/marsggbo/NAS-LID.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp