ArtiBoost: Verbesserung der 3D-Pose-Schätzung von Artikulierten Händen und Objekten durch Online-Erkundung und Synthese

Die Schätzung der artikulierten 3D-Hand-Objekt-Pose aus einem einzelnen RGB-Bild ist ein hochgradig ambiges und herausforderndes Problem, das umfangreiche Datensätze erfordert, die verschiedene Handpose, Objekttypen und Kameraperspektiven enthalten. Die meisten realen Datensätze fehlen diese Vielfalt. Im Gegensatz dazu kann Daten-Synthese diese Vielfalt leicht getrennt sicherstellen. Dennoch bleibt es schwierig, sowohl gültige als auch vielfältige Hand-Objekt-Interaktionen zu konstruieren und effizient aus den umfangreichen synthetischen Daten zu lernen. Um die oben genannten Probleme anzugehen, schlagen wir ArtiBoost vor, eine leichte Online-Datenverstärkungsmethode. ArtiBoost kann durch Stichproben im zusammengesetzten Hand-Objekt-Konfigurations- und Perspektivenraum (CCV-Raum) verschiedene Hand-Objekt-Posen und Kameraperspektiven abdecken und die aktuell schwer erkennbaren Elemente durch Verlust-Rückmeldung und Neubewichtung von Stichproben anpassend bereichern. ArtiBoost führt alternativ Datenexploration und -Synthese innerhalb eines Lernpipelines durch, wobei diese synthetischen Daten in realweltliche Quelldaten für das Training integriert werden. Wir wenden ArtiBoost auf ein einfaches Baseline-Lernalgorithmusnetzwerk an und beobachten eine Leistungssteigerung bei mehreren Hand-Objekt-Benchmarks. Unsere Modelle und Code sind unter https://github.com/lixiny/ArtiBoost verfügbar.