Ein probabilistisches Aufmerksamkeitsmodell mit sichtbarkeitsbewusster Texturregression für die 3D-Handrekonstruktion aus einem einzigen RGB-Bild

Kürzlich haben ansatzbasierte tiefes Lernen Verfahren vielversprechende Ergebnisse bei der 3D-Handrekonstruktion aus einer einzigen RGB-Bildaufnahme gezeigt. Diese Ansätze können grob in modellbasierte Verfahren, die stark von dem Parameterraum des Modells abhängen, und modellfreie Verfahren, die große Mengen an 3D-Referenzdaten benötigen, um die Tiefenambiguität zu reduzieren und in schwach überwachten Szenarien Schwierigkeiten haben, unterteilt werden. Um diese Probleme zu überwinden, schlagen wir ein neuartiges probabilistisches Modell vor, das die Robustheit modellbasierter Ansätze mit einer reduzierten Abhängigkeit vom Modellparameterraum modellfreier Ansätze vereint. Das vorgeschlagene probabilistische Modell integriert ein modellbasiertes Netzwerk als Prior-Netz, um die a-priori-Wahrscheinlichkeitsverteilung von Gelenken und Mesh-Ecken zu schätzen. Außerdem wird ein auf Aufmerksamkeit basierendes Modell zur Unsicherheitsregression von Mesh-Ecken (Attention-based Mesh Vertices Uncertainty Regression, AMVUR) vorgestellt, das Abhängigkeiten zwischen den Ecken sowie die Korrelation zwischen Gelenken und Mesh-Ecken erfassen kann, um die Merkmalsdarstellung zu verbessern. Weiterhin schlagen wir ein lernbasiertes, occlusion-orientiertes Modell zur Rekonstruktion von Handtextur vor, um eine hochfidele Texturrekonstruktion zu erreichen. Wir zeigen die Flexibilität des vorgeschlagenen probabilistischen Modells, sowohl in vollständig überwachten als auch in schwach überwachten Szenarien trainiert zu werden. Die experimentellen Ergebnisse belegen die state-of-the-art Genauigkeit unseres probabilistischen Modells bei der 3D-Hand- und Texturrekonstruktion aus einer einzigen Bildaufnahme in beiden Trainingsansätzen, auch unter Bedingungen starker Okklusionen.