NAS-LID: بحث معماري عصبي كفؤ مع البُعد الداخلي المحلي

يُحسّن البحث الفوري في البنية العصبية (NAS) بشكل كبير كفاءة البحث من خلال تدريب شبكة فائقة واحدة لتقدير أداء كل بنية فرعية ممكنة (أي شبكة فرعية). ومع ذلك، فإن عدم اتساق الخصائص بين الشبكات الفرعية يؤدي إلى تداخل كبير أثناء التحسين، مما ينتج عنه ارتباط ضعيف في ترتيب الأداء بين الشبكات الفرعية. وقد سعّرت الدراسات اللاحقة إلى تفكيك أوزان الشبكة الفائقة باستخدام معيار معين، مثل مطابقة المتجهات التدرجية، لتقليل هذا التداخل؛ لكنها تعاني من تكلفة حسابية كبيرة وانفصال مكاني منخفض. في هذا العمل، نقترح طريقة فعّالة وخفيفة الوزن تعتمد على البُعد الداخلي المحلي (LID)، تُعرف بـ NAS-LID. تعتمد NAS-LID على تقييم الخصائص الهندسية للبنية من خلال حساب خصائص LID منخفضة التكلفة طبقةً تلو الأخرى، وتشتهر ميزة التشابه المميزة بواسطة LID بقدر أكبر من الانفصال مقارنةً بالمتغيرات التدرجية، مما يقلل بشكل فعّال من التداخل بين الشبكات الفرعية. أظهرت التجارب الواسعة على مجموعة بيانات NASBench-201 أن NAS-LID تحقق أداءً متفوّقًا مع كفاءة أعلى. وبشكل خاص، مقارنةً بالأساليب المعتمدة على التدرجات، يمكن لـ NAS-LID توفير ما يصل إلى 86٪ من الحمل على ذاكرة وحدة معالجة الرسومات (GPU) أثناء عملية البحث على NASBench-201. كما نُظِر إلى فعالية NAS-LID على فراغات ProxylessNAS وOFA. الكود المصدري: https://github.com/marsggbo/NAS-LID.