16日前

GRPE:グラフトランスフォーマーにおける相対的位置符号化

Wonpyo Park, Woonggi Chang, Donggeon Lee, Juntae Kim, Seung-won Hwang
GRPE:グラフトランスフォーマーにおける相対的位置符号化
要約

我々は、Transformerアーキテクチャにおけるグラフ学習のための新しい位置符号化手法を提案する。従来の手法は、グラフを線形化してノード列における絶対位置を符号化するか、バイアス項を用いて他のノードを基準とした相対位置を符号化する。前者は線形化に伴う相対位置の精度損失を引き起こすのに対し、後者ではノードとエッジ、およびノードとトポロジーの相互作用がきめ細かく統合されないという課題がある。これらの従来手法の欠点を克服するため、本手法はグラフの線形化を行わず、ノード-トポロジーおよびノード-エッジの相互作用の両方を考慮した位置符号化を実現する。本手法をグラフ表現学習に特化した「グラフ相対位置符号化(Graph Relative Positional Encoding: GRPE)」と命名する。さまざまなグラフデータセットを用いた実験の結果、提案手法は従来手法を顕著に上回ることが示された。本研究のコードは、公開されており、https://github.com/lenscloth/GRPE にて入手可能である。

GRPE:グラフトランスフォーマーにおける相対的位置符号化 | 最新論文 | HyperAI超神経