Handpose-Schätzung im Kontext egozentrischer Aktionen

In diesem Artikel behandeln wir das Problem der Handpose-Schätzung bei Interaktionen der Hand mit verschiedenen Objekten aus einer egozentrischen Perspektive. Dies erfordert eine häufige Okklusion von Handteilen durch das Objekt sowie Selbst-Okklusionen der Hand. Wir verwenden einen Voxel-zu-Voxel-Ansatz, um Hypothesen für die Positionen der Handgelenke zu generieren, diese Hypothesen zu kombinieren und mehrere Nachverarbeitungsstrategien einzusetzen, um die Ergebnisse zu verbessern. Dabei nutzen wir Modelle vorheriger Handpose in Form einer abgeschnittenen Singulärwertzerlegung (Truncated SVD) sowie zeitliche Kontextinformationen, um präzisere Handgelenkpositionen zu erzielen. Wir präsentieren eine Ablationsstudie, um den Einfluss einzelner Merkmale der Nachverarbeitung zu analysieren. Mit unserem Ansatz erreichen wir state-of-the-art-Ergebnisse bei der HANDS19 Challenge: Task 2 – Depth-Based 3D Hand Pose Estimation while Interacting with Objects, wobei die Genauigkeit auf unbekannten Testdaten bei 33,09 mm liegt.