GaitSTR : Reconnaissance de la démarche avec un raffinement séquentiel à deux flux

La reconnaissance de la démarche vise à identifier une personne en fonction de ses séquences de marche, constituant un mode biométrique utile car elle peut être observée à de grandes distances sans nécessiter la coopération du sujet. Pour représenter les séquences de marche d'une personne, deux modalités principales sont utilisées : les silhouettes et les squelettes. Les séquences de silhouettes manquent d'informations détaillées sur les parties du corps lorsque des chevauchements se produisent entre différents segments corporels et sont influencées par les objets transportés et les vêtements. Les squelettes, composés d'articulations et d'os reliant ces articulations, fournissent des informations plus précises sur différentes parties du corps ; cependant, ils sont sensibles aux occultations et aux images de mauvaise qualité, ce qui entraîne des incohérences dans les résultats frame par frame au sein d'une séquence. Dans cet article, nous explorons l'utilisation d'une représentation à double flux des squelettes pour la reconnaissance de la démarche, en complément des silhouettes. En fusionnant les données combinées des silhouettes et des squelettes, nous affinons le double flux de squelettes, d'articulations et d'os grâce à l'autocorrection dans la convolution graphique, ainsi qu'à la correction intermodale avec une cohérence temporelle issue des silhouettes. Nous montrons que grâce à des squelettes affinés, les performances du modèle de reconnaissance de la démarche peuvent s'améliorer davantage sur des jeux de données publics de reconnaissance de la démarche comparativement aux méthodes les plus avancées actuellement disponibles, sans nécessiter d'annotations supplémentaires.