Estimation Fine-Grainée de la Pose de la Tête Sans Points Clés

L'estimation de la posture de la tête d'une personne est un problème crucial qui trouve de nombreuses applications, notamment dans l'aide à l'estimation du regard, la modélisation de l'attention, le calage de modèles 3D sur des vidéos et l'alignement facial. Traditionnellement, la posture de la tête est calculée en estimant certains points clés du visage cible et en résolvant le problème de correspondance 2D-3D avec un modèle moyen de tête humaine. Nous soutenons que cette méthode est fragile car elle dépend entièrement des performances de détection des marqueurs, du modèle de tête externe et d'une étape ad hoc de calage. Nous présentons une méthode élégante et robuste pour déterminer la posture en formant un réseau neuronal convolutif à perte multiple sur 300W-LP, un grand ensemble de données synthétiquement élargi, afin de prédire directement les angles d'Euler intrinsèques (biais, tangage et roulis) à partir des intensités d'image par classification et régression conjointes par intervalles. Nous présentons des tests empiriques sur des ensembles de données couramment utilisés comme benchmarks pour l'estimation de la posture « in the wild » qui montrent des résultats à l'état de l'art. De plus, nous testons notre méthode sur un ensemble de données généralement utilisé pour l'estimation de la posture à partir des profondeurs et commençons à combler l'écart avec les méthodes actuelles les plus performantes en matière d'estimation de la posture par profondeur. Nous mettons à disposition notre code source pour la formation et les tests ainsi que nos modèles pré-entraînés.