HyperAIHyperAI

Command Palette

Search for a command to run...

Out-of-Domain Human Mesh-Rekonstruktion durch dynamische bilevel-Online-Anpassung

Shanyan Guan Jingwei Xu Michelle Z. He Yunbo Wang Bingbing Ni Xiaokang Yang

Zusammenfassung

Wir betrachten ein neues Problem der Anpassung eines Modells zur Rekonstruktion von menschlichen Meshes an außerdomanale Streaming-Videos, bei dem die Leistung bestehender SMPL-basierter Modelle durch die Verteilungsverschiebung, die durch unterschiedliche Kameraparameter, Knochenlängen, Hintergründe und Verdeckungen dargestellt wird, erheblich beeinträchtigt wird. Wir lösen dieses Problem durch Online-Anpassung, wobei wir das Modellfehlergrad während des Testens allmählich korrigieren. Es gibt zwei Hauptausforderungen: Erstens erhöht der Mangel an 3D-Annotationen die Trainingskomplexität und führt zu 3D-Unschärfen. Zweitens erschwert eine nicht-stationäre Datenverteilung das Finden eines Ausgleichs zwischen dem Anpassen regulärer Frames und schwieriger Proben mit schwerwiegenden Verdeckungen oder drastischen Änderungen. Zu diesem Zweck schlagen wir den Dynamic Bilevel Online Adaptation Algorithmus (DynaBOA) vor. Dieser führt zunächst zeitliche Restriktionen ein, um den Mangel an 3D-Annotationen auszugleichen, und nutzt einen bilevel Optimierungsprozess, um Konflikte zwischen mehreren Zielen zu lösen. DynaBOA bietet zusätzliche 3D-Leitlinien durch Co-Training mit effizient abgerufenen ähnlichen Quellenbeispielen trotz der Verteilungsverschiebung. Darüber hinaus kann es die Anzahl der Optimierungsschritte für einzelne Frames anpassen, um schwierige Proben vollständig anzupassen und Overfitting bei regulären Frames zu vermeiden. DynaBOA erzielt Stand-of-the-Art-Ergebnisse auf drei Benchmarks zur außerdomanalen Rekonstruktion von menschlichen Meshes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp