Optimierung von Graph Neural Networks mit dem natürlichen Gradientenabstieg

In dieser Arbeit schlagen wir vor, informationsgeometrische Werkzeuge einzusetzen, um eine Graph-Neuronale-Netzwerk-Architektur wie die Graph-Convolutional Networks zu optimieren. Genauer entwickeln wir Optimierungsalgorithmen für das semi-supervised Lernen auf Basis von Graphen, indem wir die natürliche Gradienteninformation im Optimierungsprozess nutzen. Dadurch können wir die Geometrie des zugrundeliegenden statistischen Modells oder des Parameterraums effizient für die Optimierung und Inferenz ausnutzen. Sofern uns bekannt ist, ist dies die erste Arbeit, die den natürlichen Gradienten zur Optimierung von Graph-Neural-Networks einsetzt, wobei die Methode auf andere semi-supervised Probleme verallgemeinert werden kann. Effiziente Berechnungsalgorithmen werden entwickelt, und umfangreiche numerische Studien werden durchgeführt, um die überlegene Leistung unserer Algorithmen gegenüber etablierten Verfahren wie ADAM und SGD zu demonstrieren.