HyperAIHyperAI

Command Palette

Search for a command to run...

4DSloMo: 4D-Rekonstruktion für hochgeschwindige Szenen mit asynchroner Erfassung

Yutian Chen Shi Guo Tianshuo Yang Lihe Ding Xiuyuan Yu Jinwei Gu Tianfan Xue

Zusammenfassung

Die Rekonstruktion von schnell dynamischen Szenen aus multiview-Videos ist entscheidend für die Analyse hochgeschwindigkeitsbewegungen und realistische 4D-Rekonstruktion. Die meisten 4D-Erfassungssysteme sind jedoch auf Frameraten unter 30 FPS (Frames pro Sekunde) begrenzt, und eine direkte 4D-Rekonstruktion von hochgeschwindigkeitsbewegungen aus niedrigen FPS-Eingaben kann unerwünschte Ergebnisse führen. In dieser Arbeit schlagen wir ein Hochgeschwindigkeits-4D-Erfassungssystem vor, das ausschließlich mit Kameras niedriger Framerate arbeitet, durch innovative Erfassungs- und Verarbeitungsmoduln. Auf der Erfassungsseite schlagen wir ein asynchrones Erfassungsschema vor, das die effektive Framerate durch Verschieben der Startzeiten der Kameras erhöht. Durch Gruppierung der Kameras und Nutzung einer Basis-Framerate von 25 FPS erreicht unser Verfahren eine äquivalente Framerate von 100-200 FPS, ohne spezialisierte Hochgeschwindigkeitskameras zu benötigen. Auf der Verarbeitungsseite schlagen wir außerdem ein neues generatives Modell vor, um Artefakte zu beheben, die durch die dünnbesetzte 4D-Sichtrekonstruktion entstehen, da Asynchronität die Anzahl der Sichtpunkte zu jedem Zeitpunkt reduziert. Spezifisch schlagen wir vor, ein auf Video-Diffusion basierendes Artefaktbehebungsmodell für dünnbesetzte 4D-Rekonstruktion zu trainieren, das fehlende Details verfeinert, zeitliche Konsistenz gewährleistet und die Gesamtqualität der Rekonstruktion verbessert. Experimentelle Ergebnisse zeigen, dass unsere Methode im Vergleich zur synchronen Erfassung die Hochgeschwindigkeits-4D-Rekonstruktion erheblich verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp