Command Palette
Search for a command to run...
Réseaux invariants par signe et par base pour l'apprentissage des représentations graphiques spectrales
Réseaux invariants par signe et par base pour l'apprentissage des représentations graphiques spectrales
Derek Lim Joshua Robinson Lingxiao Zhao Tess Smidt Suvrit Sra Haggai Maron Stefanie Jegelka
Résumé
Nous introduisons SignNet et BasisNet — deux nouvelles architectures de réseaux neuronaux invariantes par rapport à deux symétries fondamentales observées dans les vecteurs propres : (i) les changements de signe, puisque si ( v ) est un vecteur propre, alors ( -v ) l’est également ; et (ii) des symétries de base plus générales, qui apparaissent dans les espaces propres de dimension supérieure, où il existe une infinité de choix possibles pour les vecteurs propres de base. Nous démontrons que, sous certaines conditions, nos réseaux sont universels, c’est-à-dire qu’ils peuvent approcher n’importe quelle fonction continue des vecteurs propres tout en préservant les invariances souhaitées. Lorsqu’ils sont utilisés avec des vecteurs propres du laplacien, nos réseaux s’avèrent théoriquement plus expressifs que les méthodes spectrales existantes sur les graphes ; par exemple, ils englobent comme cas particuliers toutes les convolutions spectrales sur graphes, certains invariants spectraux sur graphes, ainsi que les encodages positionnels graphiques précédemment proposés. Des expériences montrent que nos réseaux surpassent significativement les méthodes de référence sur des tâches telles que la régression sur graphes moléculaires, l’apprentissage de représentations graphiques expressives, et l’apprentissage de champs neuronaux sur maillages triangulaires. Le code est disponible à l’adresse suivante : https://github.com/cptq/SignNet-BasisNet.