BERTは意味を成すか？コンテキスト付き埋め込みを用いた解釈可能な単語意味の解消

文脈を考慮した単語埋め込み（CWE: Contextualized Word Embeddings）は、ELMo（Peters et al., 2018）、Flair NLP（Akbik et al., 2018）、BERT（Devlin et al., 2019）などのモデルによって提供される、自然言語処理（NLP）分野における近年の主要な革新である。CWEは、単語の文脈に応じてその意味的ベクトル表現を生成する。この手法は、テキスト分類、シーケンスタグ付け、機械翻訳などの複数のタスクにおいて、従来の静的単語埋め込みよりも優れた性能が示されている。同じ語形でも文脈によってベクトル表現が異なるため、CWEは自動的に語義の意味解釈（WSD: Word Sense Disambiguation）のモデルとして機能する。本研究では、CWEに対する最近傍分類を用いたシンプルかつ効果的なWSDアプローチを提案する。異なるCWEモデルの性能を比較し、標準的なWSDベンチマークデータセット2種類において、現在の最先端技術を上回る成果を報告する。さらに、事前学習済みのBERTモデルが多義語を埋め込み空間内の明確に分離された「意味領域」に配置できることを示した一方で、ELMoおよびFlair NLPはこの能力を有していないことが明らかになった。