HyperAIHyperAI

Command Palette

Search for a command to run...

Ultra-effiziente Objekterkennung auf Geräten mit künstlicher Intelligenz-integrierten Smart Glasses mittels TinyissimoYOLO

Julian Moosmann Pietro Bonazzi Yawei Li Sizhen Bian Philipp Mayer Luca Benini Michele Magno

Zusammenfassung

Smart Glasses gewinnen dank fortschrittlicher Rechentechnologien, beschleunigter Hardware-Architekturen und kompakter KI-Algorithmen rasch erweiterte Funktionalität. Die Integration von KI in Smart Glasses mit kleinem Formfaktor und begrenzter Batteriekapazität bleibt jedoch herausfordernd, insbesondere wenn ein ausreichendes Nutzererlebnis über einen ganzen Tag gewährleistet werden soll. In diesem Artikel präsentieren wir die Gestaltung und Implementierung kompakter maschineller Lernalgorithmen, die neuartige energiesparende Prozessoren nutzen, um eine verlängerte kontinuierliche Betriebszeit in Smart Glasses zu ermöglichen. Wir untersuchen die Energie- und Latenzeffizienz von Smart Glasses im Kontext der Echtzeit-Objekterkennung. Hierzu haben wir eine Prototypen-Plattform für Forschungszwecke entwickelt, die zwei Mikrocontroller umfasst: einen neuartigen RISC-V-Parallelprozessor mit Milliwatt-Leistung und einem Hardware-Accelerator für visuelle KI sowie ein Bluetooth Low-Energy-Modul zur Kommunikation. Die Smart Glasses integrieren Stromschaltmechanismen, einschließlich Schnittstellen für Bild- und Audio-Sensoren. Darüber hinaus haben wir eine Reihe neuartiger, extrem kompakter Deep-Learning-Modelle basierend auf YOLO mit unter einer Million Parametern entwickelt, die speziell für die Inferenz auf Mikrocontrollern optimiert sind und unter dem Namen TinyissimoYOLO v1.3, v5 und v8 bekannt sind. Diese Modelle dienen der Benchmarking-Evaluation der Objekterkennung hinsichtlich Energieverbrauch und Latenz. Evaluierungen am Prototypen zeigen, dass TinyissimoYOLO eine Inferenzlatenz von 17 ms und einen Energieverbrauch von 1,59 mJ pro Inferenz aufweist, während gleichzeitig eine akzeptable Erkennungsgenauigkeit gewährleistet wird. Weitere Analysen ergeben eine End-to-End-Latenz von der Bildaufnahme bis zur Algorithmusvorhersage von 56 ms – entspricht 18 fps – bei einem Gesamtenergieverbrauch von 62,9 mW. Dies entspricht einer kontinuierlichen Laufzeit von 9,3 Stunden bei einer 154 mAh-Batterie. Diese Ergebnisse übertrumpfen MCUNet (TinyNAS+TinyEngine), das eine einfachere Aufgabe (Bildklassifikation) mit lediglich 7,3 fps ausführt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ultra-effiziente Objekterkennung auf Geräten mit künstlicher Intelligenz-integrierten Smart Glasses mittels TinyissimoYOLO | Paper | HyperAI