FBNetV2: بحث معمّم في هندسة الشبكة العصبية للأبعاد المكانية والقناة

أظهرت طريقة البحث المعماري العصبي القابل للتفاضل (DNAS) نجاحًا كبيرًا في تصميم شبكات عصبية متطورة وفعالة. ومع ذلك، فإن فضاء البحث في DNAS المستندة إلى DARTS يكون صغيرًا مقارنة بطرق البحث الأخرى، نظرًا لضرورة تهيئة جميع طبقات الشبكة المرشحة بشكل صريح في الذاكرة. ولحل هذه العقبة، نقترح نسخة محسّنة من DNAS من حيث الاستهلاك الذاكرةي والحسابي: DMaskingNAS. توسّع هذه الخوارزمية فضاء البحث بمقدار تصل إلى $10^{14}\times$ مقارنة بالطرق التقليدية، مع دعم عمليات البحث عبر الأبعاد المكانية والأبعاد القنوية التي كانت سابقًا باهظة التكلفة جدًا: مثل دقة المدخلات وعدد المرشحات (filters). نقترح آلية تغطية (masking) لإعادة استخدام خرائط الميزات، بحيث تظل تكاليف الذاكرة والحساب تقريبًا ثابتة حتى مع توسع فضاء البحث. علاوةً على ذلك، نستخدم تطورًا فعّالًا في الأشكال (shape propagation) لتعظيم الدقة لكل فلوب (FLOP) أو لكل معلمة. تُظهر النماذج التي تم استخلاصها باستخدام FBNetV2 أداءً متميزًا مقارنة بجميع الهياكل السابقة. وباستخدام تكلفة بحث تقل عن 421 مرة، تُنتج DMaskingNAS نماذج تتفوق بـ 0.9% في الدقة، وبنسبة 15% أقل في عدد فلوب، مقارنة بـ MobileNetV3-Small؛ كما تتفوق بـ 20% في تقليل فلوب مع دقة مماثلة مقارنة بـ Efficient-B0. بالإضافة إلى ذلك، تتفوق نماذج FBNetV2 على MobileNetV3 بنسبة 2.6% في الدقة، مع حجم نموذج مماثل. تم إتاحة نماذج FBNetV2 مفتوحة المصدر عبر الرابط: https://github.com/facebookresearch/mobile-vision.