HopTrack : Un système de suivi en temps réel d'objets multiples pour dispositifs embarqués

Le suivi multi-objet (MOT) présente des défis considérables en vision par ordinateur. Malgré son large champ d'application dans la robotique, la conduite autonome et la fabrication intelligente, il existe une littérature limitée abordant les défis spécifiques liés à l'exécution du MOT sur des dispositifs embarqués. Les systèmes de suivi multi-objet de pointe conçus pour des GPU haut de gamme connaissent souvent des taux de traitement faibles (<11 ips) lorsqu'ils sont déployés sur des dispositifs embarqués. Les cadres existants pour le MOT sur des dispositifs embarqués ont proposé des stratégies telles que la fusion du modèle détecteur avec le modèle d'incrustation de caractéristiques pour réduire la latence d'inférence ou la combinaison de différents traqueurs pour améliorer la précision du suivi, mais ces approches tendent à compromettre l'une au profit de l'autre.Cet article introduit HopTrack, un système de suivi multi-objet en temps réel adapté aux dispositifs embarqués. Notre système utilise une nouvelle approche de correspondance statique et dynamique discrétisée ainsi qu'une technique innovante d'échantillonnage dynamique basée sur le contenu pour améliorer la précision du suivi tout en répondant aux exigences en temps réel. Comparé au meilleur baseline modifié pour GPU haut de gamme Byte (Embarqué) et au meilleur baseline existant pour dispositifs embarqués MobileNet-JDE, HopTrack atteint une vitesse de traitement allant jusqu'à 39,29 ips sur NVIDIA AGX Xavier avec une précision de suivi multi-objet (MOTA) allant jusqu'à 63,12% sur le benchmark MOT16, surpassant respectivement ses deux concurrents de 2,15% et 4,82%. De plus, l'amélioration de la précision est accompagnée d'une réduction de la consommation énergétique (20,8%), de la puissance (5%) et de l'utilisation mémoire (8%), ressources cruciales sur les dispositifs embarqués. HopTrack est également indépendant du détecteur, offrant une flexibilité plug-and-play.