PointFlow : Génération de nuages de points 3D avec des flux normalisants continus

Alors que les nuages de points 3D deviennent la représentation privilégiée pour de nombreuses applications en vision et en graphiques, la capacité à synthétiser ou reconstruire des nuages de points à haute résolution et haute fidélité devient cruciale. Bien que les modèles d'apprentissage profond aient connu un succès récent dans les tâches discriminatives des nuages de points, la génération de ces derniers reste un défi. Cet article propose un cadre probabiliste fondamental pour générer des nuages de points 3D en les modélisant comme une distribution de distributions. Plus précisément, nous apprenons une hiérarchie à deux niveaux de distributions où le premier niveau est la distribution des formes et le deuxième niveau est la distribution des points étant donné une forme. Cette formulation nous permet non seulement d'échantillonner des formes, mais aussi d'échantillonner un nombre arbitraire de points à partir d'une forme. Notre modèle génératif, nommé PointFlow, apprend chaque niveau de la distribution avec un flux normalisant continu. L'inversibilité des flots normalisants permet le calcul de la vraisemblance pendant l'entraînement et nous permet d'entraîner notre modèle dans le cadre de l'inférence variationnelle. Expérimentalement, nous démontrons que PointFlow atteint des performances de pointe dans la génération de nuages de points. Nous montrons également que notre modèle peut reconstruire fidèlement les nuages de points et apprendre des représentations utiles d'une manière non supervisée. Le code sera disponible sur https://github.com/stevenygd/PointFlow.