HyperAIHyperAI

Command Palette

Search for a command to run...

Optimisation des réseaux de neurones graphiques par descente du gradient naturel

Mohammad Rasool Izadi Yihao Fang Robert Stevenson Lizhen Lin

Résumé

Dans ce travail, nous proposons d'utiliser des outils issus de la géométrie de l'information afin d'optimiser une architecture de réseau de neurones sur graphe, telle que les réseaux de convolution sur graphe (Graph Convolutional Networks). Plus précisément, nous développons des algorithmes d'optimisation pour l'apprentissage semi-supervisé basé sur les graphes en exploitant l'information du gradient naturel au cours du processus d'optimisation. Cela nous permet d'exploiter efficacement la géométrie du modèle statistique sous-jacent ou de l'espace des paramètres pour l'optimisation et l'inférence. À notre connaissance, il s'agit du premier travail qui utilise le gradient naturel pour l'optimisation des réseaux de neurones sur graphe, une approche pouvant être étendue à d'autres problèmes d'apprentissage semi-supervisé. Des algorithmes de calcul efficaces sont proposés, et des études numériques approfondies sont menées afin de démontrer la supériorité de nos algorithmes par rapport aux méthodes existantes telles que ADAM et SGD.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Optimisation des réseaux de neurones graphiques par descente du gradient naturel | Articles | HyperAI