Réseaux de neurones convolutifs sur les sphères à poids de spin

L’apprentissage de représentations équivariantes constitue une voie prometteuse pour réduire la complexité en échantillonnage et en modèle, tout en améliorant les performances de généralisation des réseaux de neurones profonds. Les réseaux de neurones convolutifs sphériques (spherical CNNs) en sont des exemples réussis, produisant des représentations équivariantes par rapport au groupe de rotation SO(3) pour des entrées sphériques. Deux grandes catégories de spherical CNNs existent. La première consiste à relever les entrées en fonctions définies sur le groupe de rotation SO(3), puis à appliquer des convolutions sur ce groupe, une approche coûteuse en calcul car SO(3) possède une dimension supplémentaire. La seconde approche applique directement des convolutions sur la sphère, mais elle est limitée aux filtres zonaux (isotropes), ce qui restreint sa capacité d’expression. Dans cet article, nous proposons un nouveau type de spherical CNN permettant l’utilisation efficace de filtres anisotropes, sans jamais quitter le domaine sphérique. L’idée clé repose sur l’utilisation de fonctions sphériques à poids de spin, introduites initialement en physique pour l’étude des ondes gravitationnelles. Il s’agit de fonctions à valeurs complexes définies sur la sphère, dont la phase évolue sous l’effet d’une rotation. Nous définissons une opération de convolution entre fonctions à poids de spin et construisons un réseau de neurones convolutif basé sur cette opération. Ces fonctions à poids de spin peuvent également être interprétées comme des champs de vecteurs sphériques, ouvrant ainsi la voie à des applications dans des tâches où les entrées ou sorties sont des champs vectoriels. Les expériences montrent que notre méthode surpasser les approches antérieures sur des tâches telles que la classification d’images sphériques, la classification de formes 3D et la segmentation sémantique de panoramas sphériques.