PhysX : Génération d'Actifs 3D Basée sur la Physique

La modélisation 3D évolue du virtuel vers le physique. La génération 3D actuelle met principalement l'accent sur les géométries et les textures, négligeant ainsi la modélisation basée sur des propriétés physiques. Par conséquent, malgré le développement rapide des modèles génératifs 3D, les actifs 3D synthétisés ignorent souvent des propriétés physiques riches et importantes, ce qui entrave leur application dans des domaines physiques tels que la simulation et l'IA incarnée. Dans une première tentative pour relever ce défi, nous proposons PhysX, un paradigme de bout en bout pour la génération d'actifs 3D basés sur des propriétés physiques.1) Pour combler le fossé critique dans les jeux de données 3D annotés en physique, nous présentons PhysXNet - le premier jeu de données 3D basé sur la physique annoté systématiquement selon cinq dimensions fondamentales : l'échelle absolue, le matériau, l'affordance (affordance), la cinématique et la description fonctionnelle. En particulier, nous avons conçu une chaîne d'annotation à grande échelle impliquant l'humain dans la boucle (human-in-the-loop) basée sur des modèles vision-langage, ce qui permet une création efficace d'actifs prioritaires en physique à partir d'actifs 3D bruts.2) De plus, nous proposons PhysXGen, un cadre feed-forward pour la génération d'image à actif 3D basé sur des propriétés physiques, intégrant des connaissances physiques dans l'espace structurel pré-entraîné en 3D. Plus précisément, PhysXGen utilise une architecture à double branche pour modéliser explicitement les corrélations latentes entre les structures 3D et les propriétés physiques, produisant ainsi des actifs 3D avec des prédictions physiques plausibles tout en préservant la qualité géométrique native. Des expériences approfondies valident les performances supérieures et les capacités de généralisation prometteuses de notre cadre.Tout le code, les données et les modèles seront rendus disponibles afin de faciliter les futures recherches en IA générative physique.