4DSloMo: 4D-Rekonstruktion für hochgeschwindige Szenen mit asynchroner Erfassung

Die Rekonstruktion von schnell dynamischen Szenen aus multiview-Videos ist entscheidend für die Analyse hochgeschwindigkeitsbewegungen und realistische 4D-Rekonstruktion. Die meisten 4D-Erfassungssysteme sind jedoch auf Frameraten unter 30 FPS (Frames pro Sekunde) begrenzt, und eine direkte 4D-Rekonstruktion von hochgeschwindigkeitsbewegungen aus niedrigen FPS-Eingaben kann unerwünschte Ergebnisse führen. In dieser Arbeit schlagen wir ein Hochgeschwindigkeits-4D-Erfassungssystem vor, das ausschließlich mit Kameras niedriger Framerate arbeitet, durch innovative Erfassungs- und Verarbeitungsmoduln. Auf der Erfassungsseite schlagen wir ein asynchrones Erfassungsschema vor, das die effektive Framerate durch Verschieben der Startzeiten der Kameras erhöht. Durch Gruppierung der Kameras und Nutzung einer Basis-Framerate von 25 FPS erreicht unser Verfahren eine äquivalente Framerate von 100-200 FPS, ohne spezialisierte Hochgeschwindigkeitskameras zu benötigen. Auf der Verarbeitungsseite schlagen wir außerdem ein neues generatives Modell vor, um Artefakte zu beheben, die durch die dünnbesetzte 4D-Sichtrekonstruktion entstehen, da Asynchronität die Anzahl der Sichtpunkte zu jedem Zeitpunkt reduziert. Spezifisch schlagen wir vor, ein auf Video-Diffusion basierendes Artefaktbehebungsmodell für dünnbesetzte 4D-Rekonstruktion zu trainieren, das fehlende Details verfeinert, zeitliche Konsistenz gewährleistet und die Gesamtqualität der Rekonstruktion verbessert. Experimentelle Ergebnisse zeigen, dass unsere Methode im Vergleich zur synchronen Erfassung die Hochgeschwindigkeits-4D-Rekonstruktion erheblich verbessert.