MicroNets: Neuronale Netzarchitekturen zur Bereitstellung von TinyML-Anwendungen auf gängigen Mikrocontrollern

Die Ausführung von Machine-Learning-Arbeitslasten lokal auf ressourcenbeschränkten Mikrocontrollern (MCUs) verspricht, den Anwendungsbereich des IoT erheblich zu erweitern. Allerdings stellt sogenanntes TinyML erhebliche technische Herausforderungen dar, da die Inferenz tiefgehender neuronalen Netze ein großes Rechen- und Speicheraufkommen erfordert. Um dieser Herausforderung zu begegnen, verspricht die neuronale Architektursuche (Neural Architecture Search, NAS), präzise ML-Modelle zu entwickeln, die die strengen Speicher-, Latenz- und Energiebeschränkungen von MCUs erfüllen. Ein zentraler Bestandteil von NAS-Algorithmen ist deren Latenz-/Energie-Modell, also die Abbildung einer gegebenen neuronalen Netzarchitektur auf ihre Inferenzlatenz bzw. -energie auf einem MCU. In dieser Arbeit beobachten wir eine bemerkenswerte Eigenschaft von NAS-Suchräumen für die Entwicklung von MCU-Modellen: Im Durchschnitt variiert die Modell-Latenz linear mit der Anzahl der Modelloperationen (ops), vorausgesetzt, die Modelle werden gleichverteilt aus dem Suchraum ausgewählt. Ausnutzend dieses Erkenntnis, setzen wir differentiable NAS (DNAS) ein, um Modelle mit geringem Speicherverbrauch und geringer Op-Anzahl zu suchen, wobei die Op-Anzahl als sinnvoller Proxy für die Latenz betrachtet wird. Experimentelle Ergebnisse bestätigen unsere Methodik und führen zu unseren MicroNet-Modellen, die wir mittels TensorFlow Lite Micro – einer Standard-Open-Source-NN-Inferenzlaufzeitumgebung, die in der TinyML-Community weit verbreitet ist – auf MCUs bereitstellen. MicroNets erreichen state-of-the-art-Ergebnisse bei allen drei industry-standard-Benchmark-Aufgaben des TinyMLperf: Visual Wake Words, Audio Keyword Spotting und Anomalieerkennung. Die Modelle und Trainings-Skripte sind unter github.com/ARM-software/ML-zoo verfügbar.