HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

SEFD : Apprendre à distiller des poses complexes et des occlusions

{SukJu Kang Geonho Cha Ho-Deok Jang Dongyoon Wee SungJun Min Kyeongbo Kong ChangHee Yang}

SEFD : Apprendre à distiller des poses complexes et des occlusions

Résumé

Ce papier aborde le problème de l’estimation de maillage 3D humain dans des poses complexes et en situation d’occlusion. Bien que des améliorations significatives aient été réalisées dans l’estimation de maillage 3D humain à partir de poses 2D en présence d’occlusions entre personnes, les occlusions dues à des poses complexes et à d’autres objets demeurent un défi persistant. Ainsi, nous proposons une nouvelle méthode, appelée Skinned Multi-Person Linear (SMPL) Edge Feature Distillation (SEFD), qui présente une robustesse accrue face aux poses complexes et aux occlusions, sans augmenter le nombre de paramètres par rapport au modèle de référence. Le modèle génère une carte d’arête superposée SMPL, similaire à la vérité terrain, contenant à la fois les contours de la personne cible et des informations d’occlusion, permettant ainsi une distillation de caractéristiques efficace à partir d’une carte d’arête simple. Nous menons également des expériences sur diverses bases de données et démontrons une fidélité remarquable, tant sur le plan qualitatif que quantitatif. Des expérimentations étendues montrent que notre méthode surpasser la méthode de l’état de l’art de 2,8 % en MPJPE et de 1,9 % en MPVPE sur la base de données 3DPW, même en présence d’un écart de domaine. De plus, notre approche se distingue également sur les bases 3DPW-OCC, 3DPW-PC, RH-Dataset, OCHuman, CrowdPose et LSP, où des occlusions, des poses complexes et des écarts de domaine sont présents. Le code source ainsi que les annotations d’occlusion et de poses complexes seront disponibles à l’adresse suivante : https://anonymous.4open.science/r/SEFD-B7F8/

Benchmarks

BenchmarkMéthodologieMétriques
2d-human-pose-estimation-on-ochumanSEFD
Test AP: 44.1
3d-human-pose-estimation-on-3dpwSEFD
MPJPE: 77.37
MPVPE: 92.60
PA-MPJPE: 49.39
3d-human-pose-estimation-on-3dpwSEFD_GT
MPJPE: 64.75
MPVPE: 78.36
PA-MPJPE: 43.79

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SEFD : Apprendre à distiller des poses complexes et des occlusions | Articles de recherche | HyperAI