Ultra-effiziente Objekterkennung auf Geräten mit künstlicher Intelligenz-integrierten Smart Glasses mittels TinyissimoYOLO

Smart Glasses gewinnen dank fortschrittlicher Rechentechnologien, beschleunigter Hardware-Architekturen und kompakter KI-Algorithmen rasch erweiterte Funktionalität. Die Integration von KI in Smart Glasses mit kleinem Formfaktor und begrenzter Batteriekapazität bleibt jedoch herausfordernd, insbesondere wenn ein ausreichendes Nutzererlebnis über einen ganzen Tag gewährleistet werden soll. In diesem Artikel präsentieren wir die Gestaltung und Implementierung kompakter maschineller Lernalgorithmen, die neuartige energiesparende Prozessoren nutzen, um eine verlängerte kontinuierliche Betriebszeit in Smart Glasses zu ermöglichen. Wir untersuchen die Energie- und Latenzeffizienz von Smart Glasses im Kontext der Echtzeit-Objekterkennung. Hierzu haben wir eine Prototypen-Plattform für Forschungszwecke entwickelt, die zwei Mikrocontroller umfasst: einen neuartigen RISC-V-Parallelprozessor mit Milliwatt-Leistung und einem Hardware-Accelerator für visuelle KI sowie ein Bluetooth Low-Energy-Modul zur Kommunikation. Die Smart Glasses integrieren Stromschaltmechanismen, einschließlich Schnittstellen für Bild- und Audio-Sensoren. Darüber hinaus haben wir eine Reihe neuartiger, extrem kompakter Deep-Learning-Modelle basierend auf YOLO mit unter einer Million Parametern entwickelt, die speziell für die Inferenz auf Mikrocontrollern optimiert sind und unter dem Namen TinyissimoYOLO v1.3, v5 und v8 bekannt sind. Diese Modelle dienen der Benchmarking-Evaluation der Objekterkennung hinsichtlich Energieverbrauch und Latenz. Evaluierungen am Prototypen zeigen, dass TinyissimoYOLO eine Inferenzlatenz von 17 ms und einen Energieverbrauch von 1,59 mJ pro Inferenz aufweist, während gleichzeitig eine akzeptable Erkennungsgenauigkeit gewährleistet wird. Weitere Analysen ergeben eine End-to-End-Latenz von der Bildaufnahme bis zur Algorithmusvorhersage von 56 ms – entspricht 18 fps – bei einem Gesamtenergieverbrauch von 62,9 mW. Dies entspricht einer kontinuierlichen Laufzeit von 9,3 Stunden bei einer 154 mAh-Batterie. Diese Ergebnisse übertrumpfen MCUNet (TinyNAS+TinyEngine), das eine einfachere Aufgabe (Bildklassifikation) mit lediglich 7,3 fps ausführt.