15日前

Auto-GNN:グラフニューラルネットワークのニューラルアーキテクチャサーチ

Kaixiong Zhou, Qingquan Song, Xiao Huang, Xia Hu
Auto-GNN:グラフニューラルネットワークのニューラルアーキテクチャサーチ
要約

グラフニューラルネットワーク(GNN)は、グラフ構造データに対する処理において成功裏に応用されてきた。特定のシナリオにおいては、適切なGNNアーキテクチャを同定するために、豊富な人間の専門知識と膨大な試行錯誤が必要となる。その理由は、GNNアーキテクチャの性能が、アグリゲート関数や隠れ層次元といったグラフ畳み込み部品の選択に大きく依存するためである。ニューラルアーキテクチャ探索(NAS)は、画像および言語モデリングにおける学習タスク向けに有効な深層アーキテクチャを発見する可能性を示している。しかし、既存のNASアルゴリズムは、GNN探索問題に直接適用することはできない。第一に、GNNの探索空間は、既存のNAS研究におけるものと異なっている。第二に、GNNアーキテクチャの表現学習能力は、わずかな構造的変更によって顕著に変化する。これは、従来の探索手法の探索効率に悪影響を及ぼす。第三に、NASで広く用いられるパラメータ共有技術が、GNNにおいては不安定になる可能性がある。このギャップを埋めるために、我々は自動化グラフニューラルネットワーク(AGNN)フレームワークを提案する。このフレームワークは、事前に定義された探索空間内で最適なGNNアーキテクチャを探索することを目的としている。AGNNでは、強化学習に基づくコントローラーを設計し、小さなステップでアーキテクチャを貪欲に評価する。また、慎重に設計された同型性(homogeneity)の定義に基づき、同型なアーキテクチャ間でパラメータを共有できる新たなパラメータ共有戦略を導入している。実世界のベンチマークデータセットを用いた実験の結果、AGNNによって同定されたGNNアーキテクチャは、既存の手動設計モデルおよび従来の探索手法と比較して、最高の性能を達成した。

Auto-GNN:グラフニューラルネットワークのニューラルアーキテクチャサーチ | 最新論文 | HyperAI超神経