DDMI : Modèles de diffusion latente indépendants du domaine pour la synthèse d'représentations neuronales implicites de haute qualité

Des études récentes ont introduit une nouvelle classe de modèles génératifs pour synthétiser des représentations neuronales implicites (INRs) qui capturent des signaux continus arbitraires dans divers domaines. Ces modèles ont ouvert la voie aux modèles génératifs indépendants du domaine, mais ils échouent souvent à produire des génération de haute qualité. Nous avons observé que les méthodes existantes génèrent les poids des réseaux neuronaux pour paramétrer les INRs et évaluent le réseau avec des plongements positionnels fixes (PEs). On peut soutenir que cette architecture limite la puissance expressive des modèles génératifs et entraîne une génération d'INRs de faible qualité. Pour remédier à cette limitation, nous proposons un modèle de diffusion latente indépendant du domaine pour les INRs (DDMI) qui génère des plongements positionnels adaptatifs au lieu des poids des réseaux neuronaux. Plus précisément, nous développons un Variational AutoEncoder (VAE) de l'espace discret à l'espace continu (D2C-VAE), qui connecte sans heurt les données discrètes et les fonctions de signaux continus dans l'espace latent partagé. De plus, nous introduisons un nouveau mécanisme de conditionnement pour évaluer les INRs avec des PEs décomposés hiérarchiquement afin d'améliorer encore davantage la puissance expressive. Des expériences approfondies menées sur quatre modalités, par exemple, images 2D, formes 3D, champs de rayonnement neuronaux et vidéos, avec sept ensembles de données de référence, démontrent la polyvalence du DDMI ainsi que sa supériorité en termes de performance par rapport aux modèles génératifs d'INRs existants.