4DSloMo : Reconstruction 4D de scènes à haute vitesse avec capture asynchrone

La reconstruction de scènes dynamiques rapides à partir de vidéos multi-vues est cruciale pour l'analyse du mouvement à haute vitesse et la reconstruction réaliste en 4D. Cependant, la majorité des systèmes de capture en 4D sont limités à des taux d'images inférieurs à 30 IPS (images par seconde), et une reconstruction directe en 4D du mouvement à haute vitesse à partir d'une entrée à faible taux d'images peut entraîner des résultats indésirables. Dans ce travail, nous proposons un système de capture en 4D à haute vitesse utilisant uniquement des caméras à faible taux d'images, grâce à des modules de capture et de traitement innovants. Du côté de la capture, nous proposons un schéma de capture asynchrone qui augmente le taux d'images effectif en décalant les heures de début des caméras. En regroupant les caméras et en exploitant un taux d'images de base de 25 IPS, notre méthode atteint un taux d'images équivalent compris entre 100 et 200 IPS sans nécessiter l'utilisation de caméras spécialisées à haute vitesse. Du côté du traitement, nous proposons également un modèle génératif novateur pour corriger les artefacts causés par la reconstruction en 4D avec vue rare, car l'asynchronie réduit le nombre de points de vue à chaque instant. Plus précisément, nous proposons d'entraîner un modèle correcteur d'artefacts basé sur la diffusion vidéo pour la reconstruction en 4D avec vue rare, qui affine les détails manquants, maintient la cohérence temporelle et améliore la qualité globale de la reconstruction. Les résultats expérimentaux montrent que notre méthode améliore considérablement la reconstruction en 4D à haute vitesse par rapport à la capture synchrone.