1. Einführung in das Tutorial

HunyuanWorld-Mirror ist ein Open-Source-Modell zur Generierung von 3D-Welten, das im Oktober 2025 vom Hunyuan-Team von Tencent veröffentlicht wurde. Es unterstützt verschiedene Eingabemethoden, darunter Bilder und Videos aus mehreren Perspektiven, und kann diverse geometrische 3D-Vorhersagen wie Punktwolken, Tiefenkarten und Kameraparameter ausgeben. Das Modell verwendet eine reine Feedforward-Architektur, kann auf einer einzelnen GPU ausgeführt werden und erreicht Inferenz zweiter Ebene durch die lokale Verarbeitung von 8 bis 32 Ansichtseingaben. Seine technische Architektur umfasst multimodale Vorinformationen, eine allgemeine geometrische Vorhersagearchitektur und eine Curriculum-Learning-Strategie. Durch einen dynamischen Mechanismus zur Einbindung von Vorinformationen kann sich das Modell flexibel an beliebige Kombinationen von Vorinformationen anpassen. Während des Trainings wird eine Curriculum-Learning-Strategie basierend auf Aufgabenreihenfolge, Datenplanung und progressiver Auflösung eingesetzt, um die Generalisierungsfähigkeit zu maximieren. HunyuanWorld-Mirror erzielt hervorragende Ergebnisse bei der Rekonstruktion von 3D-Punktwolken und der durchgängigen 3DGS-Rekonstruktion und demonstriert herausragende geometrische Genauigkeit und Detailwiederherstellung. Zugehörige Forschungsarbeiten sind unter [Link zur relevanten Arbeit] verfügbar.WorldMirror: Universelle 3D-Weltrekonstruktion mit beliebiger vorheriger Eingabeaufforderung".

Dieses Tutorial verwendet standardmäßig eine einzelne RTX 5090 Grafikkarte, aber zum Starten des Programms kann auch eine einzelne RTX 4090 Grafikkarte verwendet werden.

2. Effektanzeige

3. Bedienungsschritte

1. Starten Sie den Container

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite.  Die erste Rekonstruktion dauert etwa 2 Minuten, das Laden der Daten und die Anzeige der 3D-Effekte können einige Zeit in Anspruch nehmen.

Parameteroptionen:

• Video-Abtastintervall: Das Intervall zwischen den Video-Abtastvorgängen.
• Rekonstruktionsoptionen (gilt nicht für 3DGS):
  • Kamera anzeigen: Gibt an, ob das Kamerabild angezeigt werden soll.
  • Mesh anzeigen: Gibt an, ob das Mesh angezeigt werden soll.
  • Filterung von Kanten mit niedriger Konfidenz und Tiefen-/Normalkanten: Gibt an, ob Kanten mit niedriger Konfidenz und Tiefen-/Normalkanten gefiltert werden sollen.
  • Himmelshintergrund filtern: Gibt an, ob der Himmelshintergrund gefiltert werden soll.
• 3D Gaussian Splatting: Eine interaktive 3D-Gaussian-Sputtering-Visualisierung mit RGB- und Tiefenvideo (zum Download als PLY verfügbar).
• Punktwolke/Netz: Punktwolke.
• Tiefenkarten: Ergebnisse der Tiefenschätzung aus einer einzelnen Ansicht (zum Download im PNG-Format).
• Normal Maps: Perspektivische Visualisierung der Oberflächenorientierung (als PNG herunterladbar).
• Kameraparameter: Geschätzte Kamerapose und intrinsische Parameter (als JSON herunterladbar).

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{liu2025worldmirror,
  title={WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting},
  author={Liu, Yifan and Min, Zhiyuan and Wang, Zhenwei and Wu, Junta and Wang, Tengfei and Yuan, Yixuan and Luo, Yawei and Guo, Chunchao},
  journal={arXiv preprint arXiv:2510.10726},
  year={2025}
}