構造拡張型テキスト表現学習による効率的なKnowledge Graph Completion

人間が手作業で構築した知識グラフは、自然言語処理の多様なタスクにおいて重要な支援情報を提供するが、これらのグラフは通常、不完全であるため、自動補完が求められている。現在一般的なグラフ埋め込み手法（例：TransE）は、グラフの要素を高密度な埋め込み表現に変換し、空間的距離を用いて三項組（triple）レベルの関係性を捉えることで、構造的な知識を学習する。しかし、これらは訓練時に一度も登場しなかった要素に対しては一般化が困難であり、グラフの不完全性に対して本質的に脆弱である。これに対して、テキスト符号化アプローチ（例：KG-BERT）は、グラフ三項組のテキスト情報および三項組レベルの文脈依存表現に依拠する。こうした手法は十分な一般化能力を持ち、特に事前学習済みエンコーダと組み合わせた場合、不完全性に対して強い耐性を示す。しかし、二つの主要な課題が性能を制限している：（1）推論時にすべての可能な三項組に対するスコアリングが高コストである点、および（2）テキストエンコーダに構造的知識が欠如している点である。本論文では、テキスト符号化アプローチを採用しつつ、グラフ埋め込み技術を組み合わせることでこれらの課題を緩和する——すなわち、両アプローチの補完的なハイブリッドモデルを提案する。具体的には、翻訳ベースのグラフ埋め込み手法と同様に、各三項組を非対称な二部分に分割し、シメイズ型のテキストエンコーダによって両部分を文脈依存表現に符号化する。この表現を基盤として、我々のモデルは、表現学習には決定論的分類器、構造学習には空間的測度をそれぞれ用いる。さらに、既存のグラフ埋め込みモデルから得られる三項組スコアを統合する自己適応的アンサンブルスキームを構築し、性能をさらに向上させた。実験の結果、リンク予測に関する3つのベンチマークおよびゼロショットデータセットにおいて、最先端の性能を達成した。特に、テキスト符号化手法と比較して、推論コストを1〜2桁低減するという成果を上げた。