Effiziente virtuelle Ansichtsauswahl für die 3D-Handpose-Schätzung

Die Schätzung der 3D-Handpose aus einer einzigen Tiefenkamera ist ein grundlegendes Problem im Bereich der Computer Vision und findet vielfältige Anwendungen. Allerdings erreichen die bestehenden Methoden aufgrund von Sichtwinkelvariationen und Verdeckungen der menschlichen Hand immer noch nicht zufriedenstellende Ergebnisse. In diesem Paper stellen wir ein neues Modul zur Auswahl und Fusions virtueller Ansichten für die 3D-Handpose-Schätzung aus einer einzigen Tiefenbildquelle vor. Wir schlagen vor, automatisch mehrere virtuelle Ansichtspunkte für die Pose-Schätzung auszuwählen und die Ergebnisse aller ausgewählten Ansichten zu fusionieren; empirisch zeigt sich, dass diese Vorgehensweise eine genaue und robuste Schätzung der Handpose ermöglicht. Um die effektivsten virtuellen Ansichten für die Fusionsphase auszuwählen, bewerten wir diese basierend auf deren Zuverlässigkeitsbewertung mittels eines leichtgewichtigen Netzwerks, das über Netzwerk-Distillation trainiert wurde. Experimente auf drei zentralen Benchmark-Datensätzen – NYU, ICVL und Hands2019 – zeigen, dass unsere Methode sowohl auf NYU als auch auf ICVL die bisherigen State-of-the-Art-Methoden übertrifft und auf Hands2019-Task1 sehr wettbewerbsfähige Ergebnisse erzielt. Zudem ist das vorgeschlagene Modul zur Auswahl und Fusions virtueller Ansichten sowohl effektiv als auch allgemein verwendbar für die 3D-Handpose-Schätzung.