HyperAIHyperAI

Command Palette

Search for a command to run...

Reconstruction de maillage humain hors domaine via adaptation en ligne dynamique à deux niveaux

Shanyan Guan Jingwei Xu Michelle Z. He Yunbo Wang Bingbing Ni Xiaokang Yang

Résumé

Nous abordons un nouveau problème consistant à adapter un modèle de reconstruction de maillage humain à des vidéos en flux hors domaine, où les performances des modèles existants basés sur le SMPL sont considérablement affectées par le décalage de distribution représenté par différents paramètres de caméra, longueurs d'os, arrière-plans et occultations. Nous relevons ce défi grâce à l'adaptation en ligne, en corrigeant progressivement le biais du modèle pendant les tests. Deux défis majeurs se posent : Premièrement, le manque d'annotations 3D augmente la difficulté de l'entraînement et entraîne des ambiguïtés 3D. Deuxièmement, la distribution de données non stationnaire rend difficile l'équilibre entre l'ajustement aux images régulières et aux échantillons difficiles présentant des occultations sévères ou des changements dramatiques. À cet effet, nous proposons l'algorithme d'adaptation en ligne dynamique à deux niveaux (DynaBOA). Cet algorithme introduit tout d'abord des contraintes temporelles pour compenser l'absence d'annotations 3D, et utilise une procédure d'optimisation à deux niveaux pour résoudre les conflits entre les objectifs multiples. DynaBOA fournit une orientation 3D supplémentaire en co-entraînant avec des exemples sources similaires récupérés efficacement malgré le décalage de distribution. De plus, il peut ajuster dynamiquement le nombre d'étapes d'optimisation sur chaque image individuelle afin de s'adapter pleinement aux échantillons difficiles et d'éviter le surapprentissage sur les images régulières. DynaBOA obtient des résultats de pointe sur trois benchmarks de reconstruction de maillage humain hors domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Reconstruction de maillage humain hors domaine via adaptation en ligne dynamique à deux niveaux | Articles | HyperAI