مساحة بحث مكثفة للبحث المعماري العصبي الأكثر مرونة

بحث معمارية الشبكات العصبية (Neural Architecture Search - NAS) قد أحدث تقدماً كبيراً في تصميم شبكات العصبونات. نعيد النظر في تصميم فضاء البحث في معظم الطرق السابقة لـ NAS ونجد أن عدد الكتل وعرضها يتم تحديدهما يدوياً. ومع ذلك، فإن عدد الكتل وعرض الكتل يحددان نطاق الشبكة (العمق والعرض) ويؤثران بشكل كبير على الدقة وتكلفة النموذج (FLOPs/التأخير). في هذا البحث، نقترح البحث عن عدد الكتل وعرض الكتل من خلال تصميم فضاء بحث متصل كثيفًا، أي DenseNAS. يتم تمثيل الفضاء الباحث الجديد كشبكة سوبر متصلة كثيفة، والتي تُبنى على أساس كتل التوجيه المصممة لدينا. داخل شبكة السوبر، تكون كتل التوجيه متصلة بكثافة ونبحث عن أفضل مسار بينها لاستنتاج المعماربة النهائية. نقترح أيضًا خوارزمية تقدير التكلفة المتسلسلة لتقريب تكلفة النموذج أثناء البحث. يتم تحسين كل من الدقة وتكلفة النموذج في DenseNAS. بالنسبة للتجارب التي أجريت على فضاء البحث المستند إلى MobileNetV2، حققت DenseNAS دقة 75.3٪ للتصنيف الأول على ImageNet مع فقط 361 مليون عملية عائمة (FLOPs) وتأخير 17.9 مللي ثانية على بطاقة TITAN-XP واحدة. يحقق النموذج الأكبر الذي تم البحث عنه بواسطة DenseNAS دقة 76.1٪ مع فقط 479 مليون عملية عائمة (FLOPs). كما يعزز DenseNAS دقة تصنيف ImageNet لـ ResNet-18، -34 و-50-B بمعدلات 1.5٪، 0.5٪ و0.3٪ مع تخفيضات في العمليات العائمة تبلغ 200 مليون، 600 مليون و680 مليون على التوالي. الرمز المرتبط متاح على https://github.com/JaminFong/DenseNAS.