HyperAIHyperAI

Command Palette

Search for a command to run...

MVGS: Multi-view-regulierte Gaussian Splatting für die Synthese neuer Ansichten

Xiaobiao Du Yida Wang Xin Yu

Zusammenfassung

Neuere Arbeiten im Bereich der Volumenrendering-Techniken, beispielsweise NeRF und 3D-Gauß-Splatting (3DGS), haben die Rendering-Qualität und -Effizienz erheblich verbessert, indem sie eine gelernte implizite neuronale Strahlungs-Feld-Representation oder 3D-Gauß-Verteilungen nutzen. Aufbauend auf einer expliziten Darstellung ermöglichen die ursprüngliche 3DGS und ihre Varianten Echtzeit-Leistung, indem sie das parametrische Modell während des Trainings mit Einzelansichts-Überwachung pro Iteration optimieren – ein Ansatz, der von NeRF übernommen wurde. Dadurch kommt es jedoch zu einer Überanpassung bestimmter Ansichten, was zu unzufriedenstellenden Erscheinungsbildern bei der Neupositionssynthese und ungenauen 3D-Geometrien führt. Um diese Probleme zu lösen, stellen wir eine neue Optimierungsmethode für 3DGS vor, die vier zentrale Innovationen beinhaltet: 1) Wir transformieren das herkömmliche Einzelansichts-Training in eine Mehransichts-Trainingsstrategie. Durch die vorgeschlagene Mehransichts-Regulierung werden die Attribute der 3D-Gauß-Verteilungen weiter optimiert, ohne dass bestimmte Trainingsansichten überangepasst werden. Als allgemeine Lösung verbessern wir die Gesamtgenauigkeit in einer Vielzahl von Szenarien und unterschiedlichen Gauß-Varianten. 2) Inspiriert durch die Vorteile zusätzlicher Ansichten entwickeln wir zudem ein Kreuz-intrinsische-Führungsschema, das einen grob-zu-fein-Trainingsprozess für verschiedene Auflösungen ermöglicht. 3) Aufbauend auf unserem Mehransichts-regulierten Training schlagen wir eine Kreuz-Strahl-Dichtungsstrategie vor, bei der mehr Gauß-Kerne in den Strahl-Schnittpunktsregionen ausgewählter Ansichten verdichtet werden. 4) Durch eine weitere Analyse der Dichtungsstrategie stellen wir fest, dass der Effekt der Dichtung besonders gesteigert werden sollte, wenn bestimmte Ansichten stark voneinander abweichen. Als Lösung präsentieren wir eine neuartige Mehransichts-erweiterte Dichtungsstrategie, bei der 3D-Gauß-Verteilungen dazu angeregt werden, in ausreichender Zahl verdichtet zu werden, was zu einer verbesserten Rekonstruktionsgenauigkeit führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp