TripoSG : Synthèse de formes 3D haute fidélité à l'aide d'un modèle d'écoulement rectifié à grande échelle

Exemples d'effets

1. Introduction au tutoriel

TripoSG est un modèle de base génératif d'image en 3D avancé avec une haute fidélité, une haute qualité et une grande généralité. Il s'appuie sur des transformateurs redressés à grande échelle, une formation supervisée hybride et des ensembles de données de haute qualité pour atteindre des performances de pointe en matière de génération de formes 3D.

✨ Fonctionnalités principales

• Génération haute fidélité: Générer des modèles de maillage avec des caractéristiques géométriques nettes, des détails de surface fins et des structures complexes
• Cohérence sémantique:La forme générée reflète avec précision les caractéristiques sémantiques et d'apparence de l'image d'entrée
• Forte capacité de généralisation: Compatible avec une variété de styles de saisie, y compris des photos réalistes, des illustrations de dessins animés et des croquis
• Des performances robustes: Générer des formes cohérentes même face à des entrées difficiles avec des topologies complexes

🔬 Points forts techniques

• Transformateur de flux corrigé à grande échelle:Combiner la modélisation de trajectoire linéaire RF avec l'architecture du transformateur pour obtenir une formation stable et efficace
• Architecture VAE avancée：En utilisant la fonction de distance signée (SDF), via un entraînement de supervision mixte de la perte SDF, du guidage normal de surface et de la perte eikonale
• Ensembles de données de haute qualité: Formé sur 2 millions de paires image-SDF soigneusement sélectionnées pour garantir une excellente qualité de sortie
• Expansion efficace: Optimisations architecturales mises en œuvre pour maintenir des performances élevées même pour les modèles plus petits

Ce tutoriel utilise la combinaison des modèles TripoSG et RMBG comme démonstration, et la ressource informatique utilise RTX4090.

2. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Veuillez patienter environ 1 à 2 minutes et actualiser la page.

2. Une fois que vous entrez sur le site Web, vous pouvez commencer à utiliser

Comment utiliser

• 1. Téléchargez une image (un seul objet fonctionne mieux)
• 2. Cliquez sur Générer une forme pour créer un maillage 3D
• 3. Cliquez sur Appliquer la texture pour ajouter la texture.
• 4. Enregistrez votre modèle 3D en utilisant Télécharger GLB
• 5. Ajustez les paramètres sous Paramètres de construction pour un réglage précis
• 6. Exemple de démonstration

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓