1. Einführung in das Tutorial

VGGT, ein Feedforward-Neuronales Netzwerk, das am 28. März 2025 vom Meta AI-Team und der Visual Geometry Group (VGG) der Universität Oxford veröffentlicht wurde, kann innerhalb von Sekunden alle wichtigen 3D-Eigenschaften einer Szene aus einer, mehreren oder Hunderten von Ansichten direkt ableiten. Zu diesen Eigenschaften gehören externe und interne Kameraparameter, Punktkarten, Tiefenkarten und 3D-Punktbahnen. Es zeichnet sich zudem durch Einfachheit und Effizienz aus und schließt die Rekonstruktion innerhalb einer Sekunde ab. Damit übertrifft es sogar alternative Methoden, die eine Nachbearbeitung mithilfe von Techniken zur Optimierung der visuellen Geometrie erfordern. Die zugehörige Veröffentlichung lautet wie folgt: VGGT: Visuelle Geometrie geerdeter TransformatorEs wurde von der CVPR 2025 angenommen und gewann dort den Best Paper Award.

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Sobald Sie die Webseite betreten, können Sie das Modell verwenden

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite.

Anwendung 

Parameterbeschreibung:

• Wählen Sie einen Vorhersagemodus:
  • Tiefenkarte und Kamerazweig: Rekonstruktion mithilfe von Tiefenkarte und Kameraposezweigen.
  • Pointmap-Zweig: Verwenden Sie den Punktwolkenzweig direkt zur Rekonstruktion.
• Konfidenzschwelle: Konfidenzschwelle, die verwendet wird, um Ergebnisse mit höherer Konfidenz in der Modellausgabe herauszufiltern.
• Punkte aus Frame anzeigen: Ob die aus dem ausgewählten Frame extrahierten Punkte angezeigt werden sollen.
• Kamera anzeigen: Ob die Kameraposition angezeigt werden soll.
• Himmel filtern: Ob Himmelspunkte gefiltert werden sollen.
• Schwarzen Hintergrund filtern: Ob Punkte mit schwarzem Hintergrund gefiltert werden sollen.
• Weißen Hintergrund filtern: Ob Punkte mit weißem Hintergrund gefiltert werden sollen.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@inproceedings{wang2025vggt,
  title={VGGT: Visual Geometry Grounded Transformer},
  author={Wang, Jianyuan and Chen, Minghao and Karaev, Nikita and Vedaldi, Andrea and Rupprecht, Christian and Novotny, David},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2025}
}