HyperAIHyperAI

Command Palette

Search for a command to run...

GraphMAE:自己教師付きマスクグラフオートエンコーダー

Zhenyu Hou Xiao Liu Yukuo Cen Yuxiao Dong Hongxia Yang Chunjie Wang Jie Tang

概要

近年、自己教師あり学習(Self-supervised Learning, SSL)は広く研究されている。特に、生成型SSLは自然言語処理をはじめとするAI分野で顕著な成果を上げており、BERTやGPTといったモデルの広範な導入がその一例である。しかし、構造的データ拡張や複雑な学習戦略に大きく依存する対比学習(contrastive learning)がグラフSSLの主流を占めてきた一方で、グラフにおける生成型SSL、特にグラフオートエンコーダ(Graph Autoencoders, GAEs)の進展は、他の分野での期待に比べて十分に実現されていない。本研究では、GAEsの発展を阻害する要因として、再構成目的、学習のロバスト性、誤差評価指標の問題を特定し、その原因を検討する。そこで、これらの課題を緩和するため、マスク付きグラフオートエンコーダ「GraphMAE」を提案する。GraphMAEでは、グラフ構造の再構成ではなく、特徴量の再構成に焦点を当て、マスキング戦略とスケーリングされたコサイン誤差を導入することで、より安定した学習を実現する。21の公開データセットを用いた、3種類のグラフ学習タスクにおける広範な実験結果から、注意深く設計された単純なグラフオートエンコーダであるGraphMAEが、対比型および生成型の最先端手法を一貫して上回ることを示した。本研究は、グラフオートエンコーダの理解を深めるとともに、グラフにおける生成型自己教師あり事前学習の可能性を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています