対照学習を用いた言語モデル埋め込みにおける関係構造の導入

言語モデルによるテキスト埋め込みは自然言語処理（NLP）分野に革命をもたらしたが、テキスト内のエンティティ間の関係といった高レベルな意味情報を十分に捉える能力には限界がある。本論文では、文埋め込みがグラフ構造における関係を符号化できるように学習するための新たな対照学習フレームワークを提案する。与えられた文（非構造化テキスト）とその対応するグラフを用いて、CharacterBERT（El Boukkouri et al., 2020）モデルにより得られたトークンレベル表現に、関係に関する構造を対照学習によって強制的に導入する。その結果得られた関係に敏感な文埋め込みは、単純なKNN分類器を用いるだけで、関係抽出タスクにおいて最先端の性能を達成し、本手法の有効性を示している。さらにt-SNEによる可視化により、従来手法と比較して学習された表現空間の優位性が確認された。さらに、命名エンティティ認識（NER）に適した異なる表現空間を、再び対照学習の目的関数を用いて学習可能であることを示し、エンティティと関係を同時に扱うタスクにおいて、これらの表現空間を効果的に統合する方法も提示している。