HyperAIHyperAI

Command Palette

Search for a command to run...

TriSplat : Reconstruction de scènes 3D en avant-prévision prête pour la simulation

Weijie Wang Zimu Li Jinchuan Shi Zeyu Zhang Botao Ye Marc Pollefeys Donny Y. Chen Bohan Zhuang

Résumé

La reconstruction 3D à partir de vues rares est de plus en plus abordée au moyen de réseaux de splatting à propagation avant (feed-forward) qui prédissent des primitives explicites directement à partir d’images. Pourtant, la plupart des méthodes existantes restent centrées sur des primitives gaussiennes et ne révèlent les surfaces que de manière indirecte : l’extraction d’un maillage exploitable pour des simulations ultérieures, le raisonnement physique ou l’interaction incarnée nécessite encore des étapes postérieures coûteuses qui rompent la promesse de la propagation avant. Cette limitation est particulièrement prononcée dans les paramètres libres de pose, où la structure de la scène et les paramètres de la caméra doivent être estimés conjointement à partir d’observations rares. Nous présentons TriSplat, un réseau de reconstruction à propagation avant qui représente les scènes à l’aide de primitives triangulaires orientées et exporte directement des scènes en maillage prêtes pour la simulation à partir d’un seul passage avant. À partir d’images d’entrée, le réseau prédit des cartes de points 3D locales, les attributs des triangles, les poses de la caméra et les intrinsèques optionnels. Plutôt que de régresser l’orientation des triangles comme une variable latente non contrainte, notre approche construit les normales géométriques à partir des cartes de points prédites, les affine avec une tête de normales conditionnée par l’image, et les convertit en cadres locaux stables pour la paramétrisation des triangles. Un calendrier d’amorçage mono-norme stabilise davantage l’entraînement précoce, tandis qu’un calendrier d’opacité et de flou affine progressivement la représentation de surface apprise pour permettre l’extraction directe du maillage. Des expériences sur RealEstate10K et DL3DV montrent que cette représentation produit des reconstructions plus fidèles à la géométrie que les méthodes de référence à propagation avant basées sur des gaussiennes, tout en maintenant une qualité de rendu de vues nouvelles compétitive. Étant donné que les primitives de rendu sont elles-mêmes des triangles de surface, la sortie peut être directement intégrée dans des moteurs physiques, des détecteurs de collision et des pipelines de rendu standard sans aucune conversion, ce qui en fait une solution pratique et prête pour la simulation dans le cadre de la reconstruction 3D de scènes à propagation avant.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp