Command Palette
Search for a command to run...
自然勾配降下法を用いたグラフニューラルネットワークの最適化
自然勾配降下法を用いたグラフニューラルネットワークの最適化
Mohammad Rasool Izadi Yihao Fang Robert Stevenson Lizhen Lin
概要
本研究では、グラフ畳み込みネットワーク(Graph Convolutional Networks)を代表とするグラフニューラルネットワークのアーキテクチャ最適化に、情報幾何学的手法を活用することを提案する。具体的には、グラフに基づく半教師付き学習の最適化において、自然勾配(natural gradient)を用いた最適化アルゴリズムを構築する。これにより、最適化および推論の過程で、潜在的な統計モデルやパラメータ空間の幾何構造を効率的に活用することが可能となる。筆者の知る限り、本研究は、グラフニューラルネットワークの最適化に自然勾配を適用した初の試みであり、他の半教師付き学習問題への拡張も可能である。さらに、効率的な計算アルゴリズムを設計し、ADAMやSGDといった従来のアルゴリズムと比較して優れた性能を示すための広範な数値実験を実施した。