要約
グラフインスタンス表現学習において、グラフインスタンスの多様なサイズとノード順序不変性（node orderless property）は、従来の表現学習モデルが機能しない主な障壁であった。本論文では、当初ノード表現学習タスクを目的として設計されたGRAPH-BERTが、グラフインスタンス表現学習において有効かどうかを検証する。この新しい問題設定に適応させるために、我々は従来の構造を再設計し、セグメント化されたアーキテクチャを採用した。本研究では、便宜上これをSEG-BERT（Segmented GRAPH-BERT）と呼ぶ。SEG-BERTは、ノード順序に依存する入力や機能部品を一切含まないため、グラフノードの順序不変性を自然に扱える。さらに、SEG-BERTはセグメント化された構造を持ち、グラフインスタンスのサイズ統一を実現するための3つの異なる戦略——完全入力（full-input）、パディング／刈り取り（padding/pruning）、セグメントシフト（segment shifting）——を導入している。SEG-BERTは非教師ありの方法で事前学習が可能であり、新たなタスクへの転移学習が直接行えるか、必要に応じて微調整を加えることで利用可能である。7つのグラフインスタンスベンチマークデータセットを用いた実験により、SEG-BERTの有効性を検証した結果、比較手法と比較して6つのデータセットにおいて有意な性能優位性を示した。