Vers une estimation robuste et sans contrainte de la pose de tête avec une gamme complète de rotation

L'estimation de la pose de tête d'une personne est un problème crucial pour de nombreuses applications et reste principalement abordée comme une sous-tâche de prédiction de pose frontale. Nous présentons une nouvelle méthode d'estimation de pose de tête sans contrainte, de bout en bout, pour relever le défi de la prédiction de pose de tête sur toute la gamme d'orientations. Pour résoudre le problème des étiquettes de rotation ambiguës, nous introduisons le formalisme de matrice de rotation pour nos données d'apprentissage et proposons une représentation continue de matrice de rotation 6D (6D rotation matrix) pour une régression directe efficace et robuste. Cela permet d'apprendre efficacement l'apparence complète des rotations et de surmonter les limitations des méthodes actuelles les plus avancées. Associé à de nouvelles données d'entraînement cumulées fournissant des données complètes sur la rotation totale de la tête et à une approche par perte géodésique pour un apprentissage stable, nous concevons un modèle avancé capable de prédire une gamme élargie d'orientations de tête. Une évaluation approfondie sur des jeux de données publics montre que notre méthode dépasse significativement les autres méthodes les plus avancées actuellement disponibles, tant en termes d'efficacité que de robustesse, tandis que sa gamme prédictive élargie permet d'étendre le domaine d'application. Nous mettons à disposition notre code source pour l'entraînement et les tests ainsi que nos modèles entraînés : https://github.com/thohemp/6DRepNet360.