Estimation en temps réel de la posture 3D humaine à plusieurs vues utilisant un retour sémantique vers des capteurs intelligents au bord

Nous présentons une nouvelle méthode pour l’estimation de poses 3D humaines à partir d’un dispositif multi-caméras, utilisant des capteurs intelligents distribués embarqués couplés à une unité centrale via une boucle de rétroaction sémantique. La détection des articulations 2D pour chaque vue caméra est effectuée localement sur un processeur d’inférence embarqué dédié. Seule la représentation sémantique de la structure squelettique est transmise sur le réseau, tandis que les images brutes restent stockées sur la carte capteur. Les poses 3D sont reconstruites à partir des joints 2D sur une unité centrale, à l’aide d’une triangulation combinée à un modèle corporel intégrant des connaissances a priori sur la structure squelettique humaine. Une chaîne de rétroaction est mise en œuvre entre l’unité centrale et les capteurs individuels au niveau sémantique. La pose 3D allocentrique est projetée à nouveau dans les vues des capteurs, où elle est fusionnée avec les détections locales de joints 2D. Le modèle sémantique local sur chaque capteur peut ainsi être amélioré en intégrant des informations contextuelles globales. L’ensemble du pipeline est capable de fonctionner en temps réel. Nous évaluons notre méthode sur trois jeux de données publics, où nous obtenons des résultats de pointe et démontrons les avantages de notre architecture à rétroaction, ainsi que dans notre propre configuration pour des expériences impliquant plusieurs personnes. L’utilisation du signal de rétroaction améliore les détections de joints 2D, et par conséquent les poses 3D estimées.