Caractéristiques de Diffusion 3D (Diff3F) : Décoration de Formes Non Texturées avec des Caractéristiques Sémantiques Distillées

Nous présentons Diff3F comme un descripteur de caractéristiques simple, robuste et indépendant de la classe, qui peut être calculé pour des formes d'entrée non texturées (maillages ou nuages de points). Notre méthode extrait les caractéristiques de diffusion à partir des modèles fondamentaux d'images et les applique aux formes d'entrée. Plus précisément, nous utilisons les formes d'entrée pour générer des cartes de profondeur et des cartes de normales en tant que guide pour la synthèse conditionnelle d'images. Dans ce processus, nous produisons des caractéristiques en 2D que nous relevons ensuite et agrégons sur la surface originale. Notre observation clé est que même si les générations d'images conditionnelles obtenues par rendu multi-vue des formes d'entrée sont incohérentes, les caractéristiques associées aux images sont robustes et peuvent donc être directement agrégées entre différentes vues. Cela produit des caractéristiques sémantiques sur les formes d'entrée, sans nécessiter de données supplémentaires ni d'un apprentissage supplémentaire. Nous menons une série d'expériences approfondies sur plusieurs benchmarks (SHREC'19, SHREC'20, FAUST et TOSCA) et démontrons que nos caractéristiques, étant sémantiques plutôt que géométriques, produisent une correspondance fiable à travers des familles de formes isométriquement et non isométriquement liées. Le code est disponible via la page du projet à l'adresse https://diff3f.github.io/