Détection d'objets ultra-efficace sur dispositif embarqué sur des lunettes intelligentes intégrant une IA avec TinyissimoYOLO

Les lunettes intelligentes gagnent rapidement en fonctionnalités avancées grâce à des technologies informatiques de pointe, à des architectures matérielles accélérées et à des algorithmes d’intelligence artificielle (IA) ultra-compacts. L’intégration de l’IA dans des lunettes intelligentes à format réduit et à capacité de batterie limitée reste toutefois un défi majeur lorsqu’il s’agit d’assurer une utilisation continue sur une journée entière avec une expérience utilisateur satisfaisante. Ce papier présente la conception et la mise en œuvre d’algorithmes d’apprentissage automatique ultra-minuscules, exploitant des processeurs à faible consommation récemment développés, afin de permettre une opération prolongée et continue dans les lunettes intelligentes. Nous étudions l’efficacité énergétique et la latence dans le cadre de la détection d’objets en temps réel. À cet effet, nous avons conçu un prototype de lunettes intelligentes destiné à servir de plateforme de recherche, comprenant deux microcontrôleurs : un nouveau processeur parallèle RISC-V à consommation milliwattique doté d’un accélérateur matériel dédié à l’IA visuelle, ainsi qu’un module Bluetooth à faible consommation pour la communication. Le prototype intègre des mécanismes de gestion de cycle d’alimentation, incluant des interfaces de détection d’images et d’audio. En outre, nous avons développé une famille de nouveaux modèles d’apprentissage profond ultra-compacts basés sur YOLO, comportant moins d’un million de paramètres, spécifiquement conçus pour l’inférence sur microcontrôleurs et désignés TinyissimoYOLO v1.3, v5 et v8, dans le but de benchmarker la détection d’objets en termes d’efficacité énergétique et de latence. Les évaluations réalisées sur le prototype montrent que TinyissimoYOLO atteint une latence d’inférence de 17 ms et une consommation énergétique de 1,59 mJ par inférence, tout en assurant une précision de détection acceptable. Des évaluations complémentaires révèlent une latence totale, depuis la capture d’image jusqu’à la prédiction du modèle, de 56 ms, soit une fréquence d’images de 18 fps, avec une consommation électrique totale de 62,9 mW, équivalente à une autonomie continue de 9,3 heures sur une batterie de 154 mAh. Ces résultats surpassent ceux de MCUNet (TinyNAS+TinyEngine), qui exécute une tâche plus simple (classification d’images) à une fréquence de seulement 7,3 fps.