HDR-GS : Synthèse de nouvelles vues à dynamique élevée efficace à 1000x plus vite grâce au Gaussian Splatting

La synthèse de vue novel en gamme dynamique élevée (HDR, High Dynamic Range) vise à générer des images photoréalistes à partir de nouvelles perspectives en utilisant des techniques d'imagerie HDR. Les images HDR rendues capturent une plage plus étendue de niveaux de luminosité, offrant ainsi davantage de détails scéniques par rapport aux images classiques à gamme dynamique faible (LDR, Low Dynamic Range). Les méthodes HDR actuelles pour la synthèse de vue novel sont principalement fondées sur NeRF. Toutefois, elles souffrent de temps d'entraînement longs et de vitesses de déduction lentes. Dans cet article, nous proposons un nouveau cadre, High Dynamic Range Gaussian Splatting (HDR-GS), capable de rendre efficacement des vues novel HDR et de reconstruire des images LDR à partir d'un temps d'exposition fourni par l'utilisateur. Plus précisément, nous concevons un modèle de nuage de points gaussiens à double gamme dynamique (DDR) qui utilise des harmoniques sphériques pour ajuster la couleur HDR et un tonemapper basé sur un MLP pour générer la couleur LDR. Les couleurs HDR et LDR sont ensuite alimentées dans deux processus parallèles de rasterisation différentiable (PDR) afin de reconstruire respectivement des vues HDR et LDR. Pour établir une base de données adéquate au développement des méthodes fondées sur le splatting gaussien 3D en HDR NVS, nous recalibrer les paramètres de caméra et calculons les positions initiales des points gaussiens. Les expériences montrent que notre HDR-GS dépasse la méthode de pointe basée sur NeRF de 3,84 dB et 1,91 dB pour la synthèse de vue novel LDR et HDR respectivement, tout en offrant une vitesse de déduction 1000 fois plus rapide et une durée d'entraînement réduite à seulement 6,3 %.