3ヶ月前

確率的アテンション機構を用いた解釈可能性と汎化性に優れたグラフ学習

Siqi Miao, Miaoyuan Liu, Pan Li
確率的アテンション機構を用いた解釈可能性と汎化性に優れたグラフ学習
要約

解釈可能性を備えたグラフ学習は、多くの科学的応用がグラフ構造データから洞察を抽出するための学習モデルに依存していることから、今後ますます重要性を増す。従来の研究は、主に事後的(post-hoc)アプローチに依拠しており、事前に学習されたモデル(特にグラフニューラルネットワーク)の解釈を試みてきた。これらの研究は、本質的に解釈可能なモデルに対して懐疑的であり、そのようなモデルは解釈可能性が優れている一方で、予測精度が低下する傾向があると主張している。しかし、こうした事後的手法は、安定した解釈を提供できない場合が多く、タスクと誤って相関する特徴量を抽出するリスクを孕んでいる。本研究では、情報ボトルネック原理に基づき、グラフストキャスティックアテンション(GSAT)を提案することで、これらの課題に取り組む。GSATは、アテンション重みに確率性(stochasticity)を導入することで、タスクに無関係なグラフ構成要素からの情報を遮断しつつ、確率性を低減したアテンションを学習し、タスクに関連する部分グラフを選択して解釈を行う。理論的に、ある仮定のもとでは、選択された部分グラフにはタスクと誤って相関するパターンが含まれないことが保証される。8つのデータセットを用いた広範な実験の結果、GSATは解釈性評価指標(AUC)において最新の手法を最大20%向上させ、予測精度においても最大5%向上することを示した。本研究のコードは、https://github.com/Graph-COM/GSAT で公開されている。