3D-Handrekonstruktion durch Aggregation von Intra- und Inter-Graphen, geleitet durch Vorwissen für Szenarien der Hand-Objekt-Interaktion

Kürzlich hat die 3D-Rekonstruktion von Händen in der Mensch-Computer-Zusammenarbeit, insbesondere in Szenarien der Hand-Objekt-Interaktion, zunehmend an Bedeutung gewonnen. Dennoch bleibt es aufgrund der durch die Interaktion verursachten schwerwiegenden Handverdeckungen eine große Herausforderung, insbesondere was den Ausgleich zwischen Genauigkeit und physikalischer Plausibilität betrifft, sowie die hoch nichtlineare Abbildung von Modellparametern und die Verbesserung von Verdeckungsmerkmalen. Um diese Probleme zu überwinden, schlagen wir ein 3D-Handrekonstruktionsnetzwerk vor, das die Vorteile modellbasierter und modelfreier Ansätze kombiniert, um Genauigkeit und physikalische Plausibilität in Hand-Objekt-Interaktionsszenarien auszugleichen. Zunächst stellen wir ein neues Modul zur Regression von MANO-Poseparametern direkt aus 2D-Gelenken vor, das den Prozess der hoch nichtlinearen Abbildung abstrakter Bildmerkmale vermeidet und nicht mehr von genauen 3D-Gelenken abhängt. Darüber hinaus schlagen wir ein durch MANO geleitetes Vertex-Gelenk-Mutual-Graph-Aufmerksamkeitsmodell vor, um Handgitter (Meshes) und Gelenke gemeinsam zu verfeinern. Dieses Modell berücksichtigt die Abhängigkeiten zwischen Vertex-Vertex und Gelenk-Gelenk sowie erfasst die Korrelation zwischen Vertex und Gelenk zur Aggregation von Intra-Graph- und Inter-Graph-Knotenmerkmalen. Die experimentellen Ergebnisse zeigen, dass unsere Methode eine wettbewerbsfähige Leistung auf den jüngsten Benchmark-Datensätzen HO3DV2 und Dex-YCB erzielt und alle rein modellbasierten Ansätze sowie modelfreie Ansätze übertrifft.