HittER：知識グラフ埋め込みのための階層的Transformer

本稿では、複雑なマルチリレーション知識グラフにおけるエンティティおよび関係の表現学習という困難な問題に着目する。本研究では、ソースエンティティの近傍に基づいてエンティティ-関係の構成（Entity-relation composition）と関係的文脈化（Relational contextualization）を統合的に学習するため、階層型TransformerモデルであるHittERを提案する。本モデルは2種類の異なるTransformerブロックから構成される：下位ブロックはソースエンティティの局所的近傍における各エンティティ-関係ペアの特徴を抽出し、上位ブロックは下位ブロックの出力から得られる関係情報の集約を行う。さらに、関係的文脈とソースエンティティ自体の情報のバランスを取るために、マスクされたエンティティ予測タスクを設計した。実験結果により、HittERは複数のリンク予測データセットにおいて、新たなSOTA（最良の結果）を達成したことが示された。また、HittERをBERTに統合するための簡便なアプローチを提案し、Freebaseのファクトイド質問応答データセット2種類においてその有効性を実証した。