Réseaux d'occupation généralisables par mélange-débruitage

Bien que les modèles d’objets 3D implicites généralisables de pointe actuels s’appuient sur le biais inductif des convolutions, il n’est pas encore entièrement clair comment les propriétés émergentes de tels biais s’harmonisent avec la tâche de reconstruction 3D à partir de nuages de points. Dans ce contexte, nous explorons une approche alternative à la généralisation. Nous relâchons le biais intrinsèque du modèle (c’est-à-dire l’utilisation de réseaux de neurones à propagation avant — MLP — pour encoder des caractéristiques locales, au lieu de convolutions) et restreignons l’espace d’hypothèses grâce à une régularisation auxiliaire liée à la tâche de reconstruction, à savoir le débruitage. Le modèle obtenu est le premier réseau de reconstruction implicite d’objets 3D à partir de nuages de points fondé uniquement sur des MLP, conditionné localement et permettant une inférence en temps réel rapide. Les caractéristiques issues du nuage de points et les corrections de débruitage sont prédites par un réseau exclusivement composé de MLP en une seule passe avant. Un décodeur évalue les probabilités d’occupation pour des requêtes situées n’importe où dans l’espace en agrégant de manière invariante à l’ordre les caractéristiques voisines du nuage de points, guidées par une encodage positionnel relatif débruité. Nous surpassons l’état de l’art basé sur les convolutions tout en utilisant seulement la moitié du nombre de paramètres du modèle.