HyperAIHyperAI

Command Palette

Search for a command to run...

Optimierung von Graph Neural Networks mit dem natürlichen Gradientenabstieg

Mohammad Rasool Izadi Yihao Fang Robert Stevenson Lizhen Lin

Zusammenfassung

In dieser Arbeit schlagen wir vor, informationsgeometrische Werkzeuge einzusetzen, um eine Graph-Neuronale-Netzwerk-Architektur wie die Graph-Convolutional Networks zu optimieren. Genauer entwickeln wir Optimierungsalgorithmen für das semi-supervised Lernen auf Basis von Graphen, indem wir die natürliche Gradienteninformation im Optimierungsprozess nutzen. Dadurch können wir die Geometrie des zugrundeliegenden statistischen Modells oder des Parameterraums effizient für die Optimierung und Inferenz ausnutzen. Sofern uns bekannt ist, ist dies die erste Arbeit, die den natürlichen Gradienten zur Optimierung von Graph-Neural-Networks einsetzt, wobei die Methode auf andere semi-supervised Probleme verallgemeinert werden kann. Effiziente Berechnungsalgorithmen werden entwickelt, und umfangreiche numerische Studien werden durchgeführt, um die überlegene Leistung unserer Algorithmen gegenüber etablierten Verfahren wie ADAM und SGD zu demonstrieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Optimierung von Graph Neural Networks mit dem natürlichen Gradientenabstieg | Paper | HyperAI