より多くの文脈が得られるほど性能が向上する：包括的意味解釈に向けた文脈付き意味埋め込み

文脈化単語埋め込み（contextualized word embeddings）は、自然言語処理における多数のタスクにおいて有効に活用されており、有用な意味情報が含まれていることが実証されている。しかし、それらを構造化された知識源と結びつけるのは依然として困難である。本論文では、語彙知識ベース内の語義に対して、文脈化単語ベクトルと比較可能な空間に位置する語義埋め込みを生成するための半教師あり手法であるARES（context-AwaRe Embeddings of Senses）を提案する。ARESによって得られる表現は、1近傍法（1 Nearest-Neighbour）という単純な手法を用いることで、英語における語義解釈（Word Sense Disambiguation）タスクだけでなく、多言語タスクにおいても最先端のモデルを上回る性能を発揮する。なお、これは英語のみの語義アノテーションデータでの学習に依拠している。さらに、文脈における単語認識（Word-in-Context）タスクにおいても、本研究の埋め込み表現の品質を評価した。外部知識源として利用した際、ニューラルモデルの性能が一貫して向上し、より複雑なアーキテクチャと競合する水準にまで達することが示された。WordNetのすべての概念に対するARES埋め込みおよび語義表現の生成に使用された自動抽出文脈は、すべてhttp://sensembert.org/aresにて無料で公開されている。