HyperAIHyperAI

Command Palette

Search for a command to run...

Anatomy-orientierte 3D-Ganzkörperpose-Schätzung mit knochengestützter Pose-Zerlegung

Tianlang Chen Chen Fang Xiaohui Shen Yiheng Zhu Zhili Chen Jiebo Luo

Zusammenfassung

In dieser Arbeit präsentieren wir eine neue Lösung für die 3D-Gesten-Schätzung in Videos. Anstelle der direkten Regression der 3D-Gelenkpositionen lassen wir uns von der Anatomie des menschlichen Skeletts inspirieren und zerlegen die Aufgabe in die Vorhersage von Knochenrichtungen und Knochenlängen, aus denen sich die 3D-Gelenkpositionen vollständig ableiten lassen. Unser Ansatz basiert auf der Tatsache, dass die Knochenlängen eines menschlichen Skeletts über die Zeit hinweg konstant bleiben. Dies motiviert uns, effektive Techniken zu entwickeln, um globale Informationen über alle Frames eines Videos zur präzisen Schätzung der Knochenlängen zu nutzen. Darüber hinaus schlagen wir für das Netzwerk zur Vorhersage der Knochenrichtungen eine vollständig konvolutionale, propagierende Architektur mit langen Sprungverbindungen vor. Im Wesentlichen ermittelt es die Richtungen verschiedener Knochen hierarchisch, ohne zeitintensive Speichereinheiten wie z. B. LSTM zu verwenden. Zusätzlich wird eine neuartige Joint-Shift-Verlustfunktion eingeführt, um die Schulung der Knochenlängen- und Knochenrichtungsnetzwerke zu verbinden. Schließlich nutzen wir eine implizite Aufmerksamkeitsmechanik, um die Sichtbarkeitswerte der 2D-Gelenkpunkte als zusätzliche Anleitung in das Modell einzuführen, was die Tiefenambiguität bei vielen herausfordernden Pose-Konfigurationen erheblich verringert. Unser vollständiges Modell erreicht auf den Datensätzen Human3.6M und MPI-INF-3DHP Ergebnisse, die die bisher besten Ergebnisse übertreffen, wobei eine umfassende Evaluierung die Wirksamkeit unseres Ansatzes bestätigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp