Sur la calibration de l'estimation de la posture humaine

La plupart des cadres de travail pour l'estimation de la posture humaine en 2D estiment la confiance des points clés de manière ad hoc, en utilisant des heuristiques telles que la valeur maximale des cartes de chaleur. La confiance fait partie du schéma d'évaluation, par exemple l'AP (Average Precision) pour le jeu de données MSCOCO, mais elle a été largement négligée dans le développement des méthodes les plus avancées. Cet article franchit les premières étapes pour résoudre le problème de mauvaise calibration dans l'estimation de la posture. D'un point de vue de calibration, la confiance devrait être alignée avec la précision de la posture. En pratique, cependant, les méthodes existantes sont mal calibrées. Nous montrons, grâce à une analyse théorique, pourquoi un écart de calibration existe et comment réduire cet écart. Prédire simplement la taille de l'instance et ajuster la fonction de confiance apporte des améliorations considérables en termes d'AP. Étant donné la nature opaque des réseaux neuronaux profonds, il n'est toutefois pas possible de combler entièrement cet écart avec seulement des ajustements sous forme fermée. Ainsi, nous allons plus loin et apprenons des ajustements spécifiques au réseau en imposant une cohérence entre la confiance et la précision de la posture. Notre Calibrated ConfidenceNet (CCNet), une extension légère post-hoc proposée, améliore l'AP jusqu'à 1,4 % sur les cadres d'estimation de posture prêts à l'emploi. Appliqué à la tâche aval de récupération du maillage, CCNet permet une réduction supplémentaire de 1,0 mm dans l'erreur des points clés 3D.