HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de neurones polynomiaux profonds

Grigorios Chrysos Stylianos Moschoglou Giorgos Bouritsas Jiankang Deng Yannis Panagakis Stefanos Zafeiriou

Résumé

Les réseaux de neurones convolutifs profonds (DCNNs) sont actuellement la méthode de référence, tant pour l'apprentissage génératif que pour l'apprentissage discriminatif en vision par ordinateur et en apprentissage automatique. Le succès des DCNNs s'explique par le choix soigneux de leurs blocs constitutifs (par exemple, les blocs résiduels, les rectifiers, les schémas de normalisation sophistiqués, pour n'en citer que quelques-uns). Dans cet article, nous proposons ΠΠΠ-Nets, une nouvelle classe d'approximateurs de fonctions fondés sur des développements polynomiaux. Les ΠΠΠ-Nets sont des réseaux de neurones polynomiaux, c’est-à-dire que leur sortie est un polynôme d’ordre élevé en fonction de l’entrée. Les paramètres inconnus, naturellement représentés par des tenseurs d’ordre élevé, sont estimés par une factorisation tensorielle collective avec partage de facteurs. Nous introduisons trois décompositions tensorielles qui réduisent significativement le nombre de paramètres, et montrons comment elles peuvent être efficacement mises en œuvre à l’aide de réseaux de neurones hiérarchiques. Nous démontrons empiriquement que les ΠΠΠ-Nets sont très expressifs, et qu’ils produisent même de bons résultats sans recourir à des fonctions d’activation non linéaires sur une large batterie de tâches et de signaux, notamment des images, des graphes et des données audio. Lorsqu’ils sont utilisés conjointement avec des fonctions d’activation, les ΠΠΠ-Nets atteignent des résultats de pointe sur trois tâches exigeantes : la génération d’images, la vérification faciale et l’apprentissage de représentations de maillages 3D. Le code source est disponible à l’adresse \url{https://github.com/grigorisg9gr/polynomial_nets}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp