要約
本研究では、学習可能なグラフ拡張と新規のグラフトランスフォーマーを用いて、メッセージパッシング（MP）におけるノード次数バイアスをコミュニティ構造を活用することで解決する。近年の拡張ベースの手法によれば、MPニューラルネットワークは低次数ノードに対して性能が低く、メッセージが十分に到達しないために次数バイアスが生じることが明らかになっている。これらの手法は高い成果を上げているものの、多くの場合、ヒューリスティックまたは一様ランダムな拡張を用いている。しかし、こうした手法は微分不可能であり、学習に有用なエッジを常に生成するとは限らない。本論文では、コミュニティ内構造を抽出することで、学習可能な拡張とグラフトランスフォーマーを活用し、次数に偏らない表現を学習する「コミュニティ認識型グラフトランスフォーマー（CGT）」を提案する。まず、エッジの摂動により低次数ノードをより多く接続するコミュニティ内エッジを生成する学習可能なグラフ拡張を設計する。次に、コミュニティ内におけるノードの近接性と役割を学ぶために、改良された自己注意機構を提案する。さらに、グラフのグローバル構造を保持しつつ、グラフ拡張を正則化するための自己教師学習タスクを提案する。様々なベンチマークデータセットにおける広範な実験結果から、CGTは最先端のベースラインを上回り、ノード次数バイアスを顕著に改善することが確認された。ソースコードは https://github.com/NSLab-CUK/Community-aware-Graph-Transformer にて公開されている。