HyperAIHyperAI

Command Palette

Search for a command to run...

グラフ表現学習におけるハードアテンションおよびチャネルごとのアテンションネットワーク

Hongyang Gao Shuiwang Ji

概要

アテンション演算子は、コンピュータビジョン、自然言語処理、ネットワーク埋め込み学習など、さまざまな分野で広く応用されています。グラフデータに対するアテンション演算子は、隣接ノードからの情報を集約する際に学習可能な重みを可能にします。しかし、グラフアテンション演算子(Graph Attention Operators: GAO)は過度の計算リソースを消費し、大規模なグラフへの応用を妨げています。さらに、GAOはソフトアテンションの一種であり、ハードアテンションとは異なります。ハードアテンションはより優れた性能を示すことが知られています。本研究では、新しいハードグラフアテンション演算子(Hard Graph Attention Operator: hGAO)とチャネルごとのグラフアテンション演算子(Channel-wise Graph Attention Operator: cGAO)を提案します。hGAOは重要なノードのみに注目するハードアテンションメカニズムを使用します。GAOと比較して、hGAOは重要なノードのみに注目することで性能が向上し、計算コストが削減されます。さらに計算リソースの要件を低減するために、cGAOはチャネル方向でのアテンション演算を行うことを提案します。cGAOは隣接行列への依存を避けるため、計算リソースの要件が大幅に削減されます。実験結果は、提案した新しいオペレータを使用した深層モデルが一貫して優れた性能を達成することを示しています。比較結果もまた、hGAOがノード埋め込みおよびグラフ埋め込みタスクにおいてGAOよりも著しく優れた性能を達成することを示しています。効率性の比較では、cGAOが計算リソースの大幅な節約につながることを示しており、これにより大規模なグラフへの適用が可能となっています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています