TinyTracker : Vision Edge Ultra-Rapide et Ultra-Basse Consommation In-Sensor pour l'Estimation du Regard

Les tâches de vision embarquée intelligentes font face au défi crucial de garantir une efficacité en puissance et en latence, en raison de la charge computationnelle élevée qu’elles imposent typiquement aux plateformes embarquées. Ce travail exploite l’un des premiers dispositifs de vision « IA dans le capteur », le capteur IMX500 de Sony, afin d’atteindre des applications de vision embarquée à la fois ultra-rapides et ultra-économes en énergie. Nous évaluons l’IMX500 et le comparons à d’autres plateformes embarquées, telles que le Google Coral Dev Micro et le Sony Spresense, en prenant comme étude de cas l’estimation du regard. Nous proposons TinyTracker, un modèle hautement efficace, entièrement quantifié, pour l’estimation 2D du regard, conçu pour maximiser les performances des systèmes de vision embarquée étudiés. TinyTracker atteint une réduction de taille de 41 fois (600 Ko) par rapport à iTracker [1], sans perte significative de précision dans l’estimation du regard (maximum de 0,16 cm lors de la quantification complète). Le déploiement de TinyTracker sur le capteur visuel Sony IMX500 permet d’obtenir une latence bout-en-bout d’environ 19 ms. Le capteur met environ 17,9 ms à lire, traiter et transmettre les pixels vers l’accélérateur. Le temps d’inférence du réseau s’élève à 0,86 ms, avec un temps supplémentaire de 0,24 ms pour récupérer les résultats depuis le capteur. La consommation énergétique globale du système bout-en-bout s’élève à 4,9 mJ, dont 0,06 mJ consacrés à l’inférence. L’étude bout-en-bout montre que l’IMX500 est 1,7 fois plus rapide que CoralMicro (19 ms contre 34,4 ms) et 7 fois plus efficace en termes de consommation énergétique (4,9 mJ contre 34,2 mJ).