Out-of-Domain Human Mesh-Rekonstruktion durch dynamische bilevel-Online-Anpassung

Wir betrachten ein neues Problem der Anpassung eines Modells zur Rekonstruktion von menschlichen Meshes an außerdomanale Streaming-Videos, bei dem die Leistung bestehender SMPL-basierter Modelle durch die Verteilungsverschiebung, die durch unterschiedliche Kameraparameter, Knochenlängen, Hintergründe und Verdeckungen dargestellt wird, erheblich beeinträchtigt wird. Wir lösen dieses Problem durch Online-Anpassung, wobei wir das Modellfehlergrad während des Testens allmählich korrigieren. Es gibt zwei Hauptausforderungen: Erstens erhöht der Mangel an 3D-Annotationen die Trainingskomplexität und führt zu 3D-Unschärfen. Zweitens erschwert eine nicht-stationäre Datenverteilung das Finden eines Ausgleichs zwischen dem Anpassen regulärer Frames und schwieriger Proben mit schwerwiegenden Verdeckungen oder drastischen Änderungen. Zu diesem Zweck schlagen wir den Dynamic Bilevel Online Adaptation Algorithmus (DynaBOA) vor. Dieser führt zunächst zeitliche Restriktionen ein, um den Mangel an 3D-Annotationen auszugleichen, und nutzt einen bilevel Optimierungsprozess, um Konflikte zwischen mehreren Zielen zu lösen. DynaBOA bietet zusätzliche 3D-Leitlinien durch Co-Training mit effizient abgerufenen ähnlichen Quellenbeispielen trotz der Verteilungsverschiebung. Darüber hinaus kann es die Anzahl der Optimierungsschritte für einzelne Frames anpassen, um schwierige Proben vollständig anzupassen und Overfitting bei regulären Frames zu vermeiden. DynaBOA erzielt Stand-of-the-Art-Ergebnisse auf drei Benchmarks zur außerdomanalen Rekonstruktion von menschlichen Meshes.