Interaktive Hand-Objekt-Pose-Schätzung durch dichte gegenseitige Aufmerksamkeit

Die 3D-Hand-Objekt-Pose-Schätzung ist entscheidend für den Erfolg vieler Anwendungen im Bereich der Computer Vision. Das Hauptaugenmerk dieser Aufgabe liegt auf der effektiven Modellierung der Interaktion zwischen Hand und Objekt. Bestehende Arbeiten basieren entweder auf interaktionsbedingten Restriktionen in einer rechenintensiven iterativen Optimierung oder berücksichtigen nur eine dünn besetzte Korrelation zwischen ausgewählten Hand- und Objektpunkten. Im Gegensatz dazu schlagen wir einen neuen dichten gegenseitigen Aufmerksamkeitsmechanismus vor, der in der Lage ist, feingranulare Abhängigkeiten zwischen Hand und Objekt zu modellieren. Insbesondere bauen wir zunächst die Hand- und Objektgraphen gemäß ihren Netzstrukturen auf. Für jeden Handknoten aggregieren wir Merkmale von jedem Objektknoten durch das gelernte Aufmerksamkeit, und umgekehrt für jeden Objektknoten. Dank dieses dichten gegenseitigen Aufmerksamkeitsmechanismus kann unsere Methode physikalisch plausiblen Poses mit hoher Qualität und Echtzeit-Inferenzgeschwindigkeit erzeugen. Ausführliche quantitative und qualitative Experimente an großen Benchmark-Datensätzen zeigen, dass unsere Methode den Stand der Technik übertrifft. Der Code ist unter https://github.com/rongakowang/DenseMutualAttention.git verfügbar.