Splatting gaussien 3D compressé pour une synthèse de vue nouvelle accélérée

Récemment, une reconstruction fidèle de scènes basée sur une représentation 3D de Gaussiens éclaboussés optimisée a été introduite pour la synthèse de vues nouvelles à partir d'ensembles d'images éparses. Pour rendre de telles représentations adaptées à des applications telles que le streaming réseau et le rendu sur des dispositifs à faible consommation énergétique, il est nécessaire de réduire de manière significative la consommation mémoire ainsi que d'améliorer l'efficacité du rendu. Nous proposons une représentation compressée de Gaussiens éclaboussés 3D, qui utilise un regroupement vectoriel sensible à la sensibilité combiné à une formation consciente de la quantification afin de compresser les couleurs directionnelles et les paramètres des Gaussiens. Les codebooks appris présentent des débits faibles et atteignent un taux de compression allant jusqu’à $31\times$ sur des scènes du monde réel, avec une dégradation visuelle négligeable. Nous démontrons que la représentation éclaboussée compressée peut être rendue de manière efficace grâce au rasterisation matérielle sur des GPU légers, atteignant des fréquences d’images jusqu’à $4\times$ plus élevées que celles rapportées par une pipeline GPU optimisée. Des expériences étendues sur plusieurs jeux de données illustrent la robustesse et la vitesse de rendu de l’approche proposée.