Apprentissage auto-supervisé de la posture 3D humaine à l'aide de la géométrie multi-vue

L'entraînement d'estimateurs de pose humaine 3D précis nécessite une grande quantité de données de vérité terrain 3D, qui sont coûteuses à collecter. En raison du manque de données 3D, diverses méthodes de estimation de pose faiblement supervisée ou auto-supervisée ont été proposées. Cependant, ces méthodes nécessitent, en plus des poses de vérité terrain 2D, soit une supervision supplémentaire sous diverses formes (par exemple, des données de vérité terrain 3D non appariées, un petit sous-ensemble d'étiquettes), soit les paramètres caméra dans des configurations multicaméra. Pour résoudre ces problèmes, nous présentons EpipolarPose, une méthode d'apprentissage auto-supervisé pour l'estimation de la pose humaine 3D, qui n'a besoin d'aucune donnée de vérité terrain 3D ni de paramètres extrinsèques caméra. Au cours de l'entraînement, EpipolarPose estime les poses 2D à partir d'images multicaméra, puis utilise la géométrie épipolaire pour obtenir une pose 3D et une géométrie caméra qui sont ensuite utilisées pour entraîner un estimateur de pose 3D. Nous démontrons l'efficacité de notre approche sur des ensembles de données基准数据集（benchmark datasets）standardisés tels que Human3.6M et MPI-INF-3DHP où nous établissons le nouvel état de l'art parmi les méthodes faiblement/auto-supervisées. De plus, nous proposons une nouvelle mesure de performance appelée Score Structurel de Pose (PSS), qui est une mesure invariante à l'échelle et sensible à la structure pour évaluer la plausibilité structurelle d'une pose par rapport à sa vérité terrain. Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/mkocabas/EpipolarPose.Note: "benchmark datasets" is a commonly used term in French academic and technical writing as well, but I've included the Chinese term in parentheses for reference. If you prefer it fully translated into French, please let me know!