Réseaux de neurones polynomiaux profonds

Les réseaux de neurones convolutifs profonds (DCNNs) sont actuellement la méthode de référence, tant pour l'apprentissage génératif que pour l'apprentissage discriminatif en vision par ordinateur et en apprentissage automatique. Le succès des DCNNs s'explique par le choix soigneux de leurs blocs constitutifs (par exemple, les blocs résiduels, les rectifiers, les schémas de normalisation sophistiqués, pour n'en citer que quelques-uns). Dans cet article, nous proposons $Π$-Nets, une nouvelle classe d'approximateurs de fonctions fondés sur des développements polynomiaux. Les $Π$-Nets sont des réseaux de neurones polynomiaux, c’est-à-dire que leur sortie est un polynôme d’ordre élevé en fonction de l’entrée. Les paramètres inconnus, naturellement représentés par des tenseurs d’ordre élevé, sont estimés par une factorisation tensorielle collective avec partage de facteurs. Nous introduisons trois décompositions tensorielles qui réduisent significativement le nombre de paramètres, et montrons comment elles peuvent être efficacement mises en œuvre à l’aide de réseaux de neurones hiérarchiques. Nous démontrons empiriquement que les $Π$-Nets sont très expressifs, et qu’ils produisent même de bons résultats sans recourir à des fonctions d’activation non linéaires sur une large batterie de tâches et de signaux, notamment des images, des graphes et des données audio. Lorsqu’ils sont utilisés conjointement avec des fonctions d’activation, les $Π$-Nets atteignent des résultats de pointe sur trois tâches exigeantes : la génération d’images, la vérification faciale et l’apprentissage de représentations de maillages 3D. Le code source est disponible à l’adresse \url{https://github.com/grigorisg9gr/polynomial_nets}.