Reconstruction de maillage humain hors domaine via adaptation en ligne dynamique à deux niveaux

Nous abordons un nouveau problème consistant à adapter un modèle de reconstruction de maillage humain à des vidéos en flux hors domaine, où les performances des modèles existants basés sur le SMPL sont considérablement affectées par le décalage de distribution représenté par différents paramètres de caméra, longueurs d'os, arrière-plans et occultations. Nous relevons ce défi grâce à l'adaptation en ligne, en corrigeant progressivement le biais du modèle pendant les tests. Deux défis majeurs se posent : Premièrement, le manque d'annotations 3D augmente la difficulté de l'entraînement et entraîne des ambiguïtés 3D. Deuxièmement, la distribution de données non stationnaire rend difficile l'équilibre entre l'ajustement aux images régulières et aux échantillons difficiles présentant des occultations sévères ou des changements dramatiques. À cet effet, nous proposons l'algorithme d'adaptation en ligne dynamique à deux niveaux (DynaBOA). Cet algorithme introduit tout d'abord des contraintes temporelles pour compenser l'absence d'annotations 3D, et utilise une procédure d'optimisation à deux niveaux pour résoudre les conflits entre les objectifs multiples. DynaBOA fournit une orientation 3D supplémentaire en co-entraînant avec des exemples sources similaires récupérés efficacement malgré le décalage de distribution. De plus, il peut ajuster dynamiquement le nombre d'étapes d'optimisation sur chaque image individuelle afin de s'adapter pleinement aux échantillons difficiles et d'éviter le surapprentissage sur les images régulières. DynaBOA obtient des résultats de pointe sur trois benchmarks de reconstruction de maillage humain hors domaine.