Rendre le visible ce qui est invisible : Reconnaissance d’actions à travers les murs et les occultations

La compréhension des actions et des interactions humaines repose généralement sur leur observation visuelle. L'automatisation du processus de reconnaissance d'actions à partir de données visuelles a fait l'objet de nombreuses recherches au sein de la communauté en vision par ordinateur. Mais que se passe-t-il si il fait trop sombre, ou si la personne est masquée ou derrière un mur ? Dans cet article, nous présentons un modèle de réseau neuronal capable de détecter les actions humaines à travers les murs et les obstacles, ainsi que dans des conditions de faible éclairage. Notre modèle utilise des signaux radiofréquence (RF) comme entrée, génère des squelettes humains 3D comme représentation intermédiaire, et reconnaît les actions et interactions de plusieurs personnes au fil du temps. En traduisant l'entrée en une représentation intermédiaire basée sur le squelette, notre modèle peut apprendre à partir de jeux de données basés à la fois sur la vision et sur les signaux RF, permettant aux deux tâches d'entraider. Nous démontrons que notre modèle atteint une précision comparable à celle des systèmes de reconnaissance d'actions basés sur la vision dans des scénarios visibles, tout en continuant à fonctionner avec précision lorsque les personnes ne sont pas visibles, abordant ainsi des situations qui dépassent les limites actuelles de la reconnaissance d'actions basée sur la vision.