HAC : Contexte assisté par hash-grid pour la compression de Gaussian Splatting 3D

Le Splatting Gaussien 3D (3DGS) est apparu comme un cadre prometteur pour la synthèse de vues nouvelles, offrant une vitesse de rendu rapide tout en préservant une fidélité élevée. Toutefois, le grand nombre de Gaussiens ainsi que leurs attributs associés nécessitent des techniques de compression efficaces. Néanmoins, la nature éparses et non structurée du nuage de points constitué par les Gaussiens (ou des « anchors » dans notre travail) pose des défis significatifs pour la compression. Pour relever ce défi, nous exploitons les relations entre les anchors non structurés et la grille hachée structurée, en tirant parti de leur information mutuelle pour modéliser le contexte, et proposons un cadre de compression contextuelle assistée par grille hachée (Hash-grid Assisted Context, HAC) afin d’obtenir une représentation 3DGS hautement compacte. Notre approche introduit une grille hachée binaire pour établir des consistance spatiales continues, permettant ainsi de révéler les relations spatiales intrinsèques des anchors grâce à un modèle de contexte soigneusement conçu. Afin de faciliter le codage par entropie, nous utilisons des distributions gaussiennes pour estimer précisément la probabilité de chaque attribut quantifié, en proposant un module de quantification adaptatif permettant une quantification à haute précision de ces attributs, améliorant ainsi la restauration de la fidélité. En outre, nous intégrons une stratégie d’application de masque adaptative afin d’éliminer les Gaussiens et les anchors invalides. Notons que notre travail constitue la première exploration de la compression basée sur le contexte pour la représentation 3DGS, aboutissant à une réduction de taille remarquable supérieure à 75× par rapport au 3DGS classique, tout en améliorant la fidélité, et réalisant une réduction de plus de 11× par rapport à l’état de l’art actuel, Scaffold-GS. Le code source est disponible à l’adresse suivante : https://github.com/YihangChen-ee/HAC