MVGS: Multi-view-regulierte Gaussian Splatting für die Synthese neuer Ansichten

Neuere Arbeiten im Bereich der Volumenrendering-Techniken, beispielsweise NeRF und 3D-Gauß-Splatting (3DGS), haben die Rendering-Qualität und -Effizienz erheblich verbessert, indem sie eine gelernte implizite neuronale Strahlungs-Feld-Representation oder 3D-Gauß-Verteilungen nutzen. Aufbauend auf einer expliziten Darstellung ermöglichen die ursprüngliche 3DGS und ihre Varianten Echtzeit-Leistung, indem sie das parametrische Modell während des Trainings mit Einzelansichts-Überwachung pro Iteration optimieren – ein Ansatz, der von NeRF übernommen wurde. Dadurch kommt es jedoch zu einer Überanpassung bestimmter Ansichten, was zu unzufriedenstellenden Erscheinungsbildern bei der Neupositionssynthese und ungenauen 3D-Geometrien führt. Um diese Probleme zu lösen, stellen wir eine neue Optimierungsmethode für 3DGS vor, die vier zentrale Innovationen beinhaltet: 1) Wir transformieren das herkömmliche Einzelansichts-Training in eine Mehransichts-Trainingsstrategie. Durch die vorgeschlagene Mehransichts-Regulierung werden die Attribute der 3D-Gauß-Verteilungen weiter optimiert, ohne dass bestimmte Trainingsansichten überangepasst werden. Als allgemeine Lösung verbessern wir die Gesamtgenauigkeit in einer Vielzahl von Szenarien und unterschiedlichen Gauß-Varianten. 2) Inspiriert durch die Vorteile zusätzlicher Ansichten entwickeln wir zudem ein Kreuz-intrinsische-Führungsschema, das einen grob-zu-fein-Trainingsprozess für verschiedene Auflösungen ermöglicht. 3) Aufbauend auf unserem Mehransichts-regulierten Training schlagen wir eine Kreuz-Strahl-Dichtungsstrategie vor, bei der mehr Gauß-Kerne in den Strahl-Schnittpunktsregionen ausgewählter Ansichten verdichtet werden. 4) Durch eine weitere Analyse der Dichtungsstrategie stellen wir fest, dass der Effekt der Dichtung besonders gesteigert werden sollte, wenn bestimmte Ansichten stark voneinander abweichen. Als Lösung präsentieren wir eine neuartige Mehransichts-erweiterte Dichtungsstrategie, bei der 3D-Gauß-Verteilungen dazu angeregt werden, in ausreichender Zahl verdichtet zu werden, was zu einer verbesserten Rekonstruktionsgenauigkeit führt.