$Π$-nets : Réseaux de neurones polynomiaux profonds

Les réseaux de neurones convolutionnels profonds (DCNNs) constituent actuellement la méthode de choix, tant pour l’apprentissage génératif que discriminatif en vision par ordinateur et apprentissage automatique. Le succès des DCNNs s’explique par le soin apporté à la sélection de leurs blocs constitutifs (par exemple, les blocs résiduels, les fonctions de rectification, les schémas sophistiqués de normalisation, pour n’en citer que quelques-uns). Dans cet article, nous proposons $Π$-Nets, une nouvelle classe de DCNNs. Les $Π$-Nets sont des réseaux de neurones polynomiaux, c’est-à-dire que leur sortie est un polynôme d’ordre élevé en fonction de l’entrée. Ces réseaux peuvent être implémentés à l’aide de connexions sautées spécifiques, et leurs paramètres peuvent être représentés à l’aide de tenseurs d’ordre élevé. Nous démontrons empiriquement que les $Π$-Nets possèdent une puissance de représentation supérieure à celle des DCNNs standards, et qu’ils produisent même de bons résultats sans recourir à des fonctions d’activation non linéaires sur une large gamme de tâches et de signaux, notamment des images, des graphes et des données audio. Lorsqu’ils sont utilisés conjointement avec des fonctions d’activation, les $Π$-Nets atteignent des performances de pointe sur des tâches exigeantes, telles que la génération d’images. Enfin, notre cadre théorique permet de mieux comprendre pourquoi les modèles génératifs récents, comme StyleGAN, surpassent leurs prédécesseurs, tels que ProGAN.