MemNAS: بحث معماري عصبي كفؤ في الذاكرة مع تعلم النمو-الحذف

أظهرت الدراسات الحديثة المتعلقة بتقنيات البحث التلقائي في هندسة الشبكات العصبية أداءً ملحوظًا، يُعدّ منافسًا أو حتى أفضل من الهياكل العصبية اليدوية التصميم. ومع ذلك، تميل معظم الطرق الحالية للبحث إلى استخدام هياكل متعددة (residual) والاتصالات المدمجة بين الميزات السطحية والعميقة. نتيجة لذلك، تصبح النماذج العصبية الناتجة معقدة جدًا من حيث الموارد، مما يجعل تنفيذها على الأجهزة المحدودة الموارد أمرًا صعبًا، نظرًا لاحتياجها إلى ذاكرة كبيرة لتخزين المعاملات الشبكية والخرائط الوسطية للسمات، بالإضافة إلى تعقيد حسابي مفرط. لمعالجة هذه التحديات، نقترح MemNAS، إطارًا جديدًا لبحث هندسة الشبكات العصبية يعتمد على النمو والتقليم، ويُحسّن ليس فقط الأداء، بل أيضًا متطلبات الذاكرة للشبكة أثناء الاستدلال. وبشكل خاص، خلال عملية البحث، نأخذ في الاعتبار استهلاك الذاكرة أثناء التشغيل، بما في ذلك ذاكرة المعاملات الشبكية والمتطلبات الأساسية لذاكرة الخرائط الوسطية للسمات، كهدف تحسين جنبًا إلى جنب مع الأداء. علاوة على ذلك، لتحسين دقة عملية البحث، نستخرج معلومات الارتباط بين عدة هياكل مرشحة لتصنيفها، ثم نختار الهياكل التي تحقق الأداء المطلوب وكفاءة ممتازة من حيث الذاكرة. وفي مهمة تصنيف ImageNet، حقق MemNAS دقة قدرها 75.4٪، أي أعلى بـ 0.7٪ من MobileNetV2، مع استهلاك ذاكرة أقل بنسبة 42.1٪. وتدعم التجارب الإضافية أن MemNAS يمكنه أداء جيدًا في مختلف التوازنات المستهدفة بين الدقة واستهلاك الذاكرة.