TextureNet : Paramétrisations locales cohérentes pour l'apprentissage à partir de signaux de haute résolution sur les maillages

Nous présentons TextureNet, une architecture de réseau neuronal conçue pour extraire des caractéristiques à partir de signaux à haute résolution associés aux maillages de surfaces 3D (par exemple, les cartes de texture couleur). L'idée centrale est d'utiliser un champ 4-rotationnel symétrique (4-RoSy) pour définir un domaine de convolution sur une surface. Bien que les champs 4-RoSy possèdent plusieurs propriétés favorables à la convolution sur les surfaces (faible distorsion, peu de singularités, paramétrisation cohérente, etc.), leurs orientations sont ambiguës jusqu'à une rotation quadruple en tout point d'échantillonnage. Ainsi, nous introduisons un nouvel opérateur de convolution invariant face à l'ambiguïté du champ 4-RoSy et l'utilisons dans un réseau pour extraire des caractéristiques à partir de signaux à haute résolution sur les voisinages géodésiques d'une surface. Comparativement aux alternatives, telles que les méthodes basées sur PointNet qui ne disposent pas d'une notion d'orientation, la structure cohérente fournie par ces voisinages conduit à des caractéristiques beaucoup plus robustes. Par exemple, nous démontrons les avantages de notre architecture pour le segmentationsémantique 3D de maillages texturés. Les résultats montrent que notre méthode surpassetoutes les méthodes existantes en termes d'IoU moyen avec une marge significative, tant dans le cadre uniquement géométrique (6,4 %) que dans celui combinant RGB et géométrie (6,9-8,2 %).