Attention Multi-Contexte pour l'Estimation de la Posture Humaine

Dans cet article, nous proposons d'intégrer des réseaux de neurones convolutifs avec un mécanisme d'attention multi-contexte dans un cadre end-to-end pour l'estimation de la posture humaine. Nous utilisons des réseaux en forme d'horloge de sable empilés pour générer des cartes d'attention à partir de caractéristiques à plusieurs résolutions et avec diverses sémantiques. Le champ aléatoire conditionnel (CRF) est employé pour modéliser les corrélations entre les régions voisines dans la carte d'attention. Nous combinons également le modèle d'attention holistique, qui se concentre sur la cohérence globale du corps humain entier, et le modèle d'attention par parties corporelles, qui se concentre sur la description détaillée des différentes parties du corps. Ainsi, notre modèle possède la capacité de se focaliser sur différents niveaux de granularité, allant des régions saillantes locales aux espaces sémantiquement cohérents globaux. De plus, nous avons conçu de nouvelles unités résiduelles en forme d'horloge de sable (HRUs) pour augmenter le champ récepteur du réseau. Ces unités sont des extensions des unités résiduelles avec une branche latérale intégrant des filtres dotés de champs récepteurs plus larges, permettant ainsi l'apprentissage et la combinaison de caractéristiques à différentes échelles au sein des HRUs. L'efficacité du mécanisme d'attention multi-contexte proposé et des unités résiduelles en forme d'horloge de sable est évaluée sur deux benchmarks largement utilisés pour l'estimation de la posture humaine. Notre approche surpassent toutes les méthodes existantes sur ces deux benchmarks pour toutes les parties du corps.