ArtiBoost : Amélioration de l'estimation de la pose 3D des mains et objets articulés par exploration en ligne et synthèse

L'estimation de la posture 3D articulée d'une main et d'un objet à partir d'une seule image RGB est un problème hautement ambigu et complexe, nécessitant des ensembles de données à grande échelle contenant une variété de postures de main, de types d'objets et de points de vue caméra. La plupart des ensembles de données du monde réel manquent cette diversité. En revanche, la synthèse de données peut facilement garantir ces diversités séparément. Cependant, construire des interactions main-objet à la fois valides et diversifiées, ainsi qu'apprendre efficacement à partir des vastes données synthétiques, reste un défi. Pour résoudre ces problèmes, nous proposons ArtiBoost, une méthode légère d'amélioration des données en ligne. ArtiBoost peut couvrir une variété de postures main-objet et de points de vue caméra grâce à l'échantillonnage dans un espace composite de configuration et de point de vue main-objet (CCV-space) et peut enrichir adaptivement les éléments actuellement difficiles à distinguer par retour d'information sur la perte et le rééquilibrage des échantillons. ArtiBoost alterne entre l'exploration et la synthèse des données au sein d'un pipeline d'apprentissage, et ces données synthétiques sont intégrées aux données sources du monde réel pour l'entraînement. Nous appliquons ArtiBoost à un réseau neuronal basique simple et observons une amélioration des performances sur plusieurs benchmarks main-objet. Nos modèles et notre code sont disponibles sur https://github.com/lixiny/ArtiBoost.