ميكرونيتس: هياكل شبكات عصبية لنشر تطبيقات التعلم الصغير على المحركات الدقيقة الشائعة

تنفيذ مهام تعلم الآلة محليًا على وحدات المعالجة الصغيرة المحدودة الموارد (MCUs) يُعد واعدًا في توسيع نطاق تطبيقات إنترنت الأشياء بشكل كبير. ومع ذلك، فإن ما يُعرف بـ "TinyML" يواجه تحديات تقنية جسيمة، نظرًا لاحتياجات استدلال الشبكات العصبية العميقة إلى موارد كبيرة من الحوسبة والذاكرة. لمعالجة هذا التحدي، تُعد خوارزميات بحث الهيكل العصبي (NAS) واعدة في تصميم نماذج تعلم آلي دقيقة تلبي قيود الذاكرة والتأخير والاستهلاك الطاقي الصارمة المفروضة على وحدات MCU. ويشكل النموذج الزمني/الطاقي جزءًا رئيسيًا من خوارزميات NAS، أي التمثيل الذي يربط بين بنية الشبكة العصبية المحددة ووقت الاستدلال/الاستهلاك الطاقي على وحدة MCU. في هذا البحث، لاحظنا خاصية مثيرة للاهتمام في فضاءات البحث الخاصة بـ NAS لتصميم نماذج MCU: بشكل متوسط، يتغير وقت استدلال النموذج بشكل خطي بالنسبة لعدد العمليات (ops) في النموذج، وذلك تحت افتراض توزيع منتظم على النماذج في فضاء البحث. واستغلالًا لهذه الملاحظة، استخدمنا خوارزمية NAS القابلة للتفاضل (DNAS) للبحث عن نماذج ذات استهلاك منخفض للذاكرة وعدد قليل من العمليات، حيث تم اعتبار عدد العمليات بديلاً مقبولًا لوقت الاستدلال. وقد أثبتت النتائج التجريبية صحة منهجيتنا، مما أدى إلى تطوير نماذجنا المعروفة بـ "MicroNet"، والتي تم نشرها على وحدات MCU باستخدام إطار عمل TensorFlow Lite Micro، وهو بيئة تشغيل قياسية مفتوحة المصدر لاستدلال الشبكات العصبية، وشائعة جدًا في مجتمع TinyML. تُظهر نماذج MicroNet أداءً متفوقًا على مستوى الحد الأقصى في جميع مهام الاختبار القياسية الثلاثة التي تُستخدم في معيار TinyMLperf: استيقاظ بصري، كشف كلمات مفتاحية صوتية، والكشف عن الشذوذ. ويمكن العثور على النماذج ونصوص التدريب على: github.com/ARM-software/ML-zoo.