Distillation de relations latentes non locales pour l'estimation de la pose humaine 3D auto-adaptative

Les approches actuelles d'estimation de la posture humaine en 3D exploitent différentes formes de supervision forte (posture 2D/3D) ou faible (multivues ou profondeur). À l'exception des domaines synthétiques ou en studio, acquérir une telle supervision pour chaque nouvel environnement cible est très inconfortable. A cet égard, nous formulons l'apprentissage de la posture en 3D comme un problème d'adaptation auto-supervisée visant à transférer les connaissances de la tâche d'un domaine source étiqueté vers une cible complètement non appariée. Nous proposons d'inférer la relation image-posture par deux mappages explicites, à savoir image-latent et latent-posture, où le second est un décodeur pré-appris obtenu à partir d'un générateur adversarial auto-encodeur imposant des contraintes a priori. Ensuite, nous introduisons la distillation des relations comme un moyen d'aligner les échantillons multimodaux non appariés, c'est-à-dire les vidéos cibles non appariées et les séquences de postures 3D non appariées. À cette fin, nous proposons un nouveau ensemble de relations non locales afin de caractériser les interactions latentes de posture à longue portée, contrairement aux relations contrastives générales où les couplages positifs sont limités à une structure de voisinage locale. De plus, nous fournissons une méthode objective pour quantifier la non-localité afin de sélectionner l'ensemble de relations le plus efficace. Nous évaluons différents scénarios d'auto-adaptation et démontrons des performances d'estimation de la posture humaine en 3D à l'état de l'art sur des benchmarks standards.