要約
BERTのような事前学習された文脈表現は、自然言語処理分野において大きな成功を収めている。しかし、微調整（fine-tuning）を行わない事前学習言語モデルから得られる文埋め込みは、文の意味情報を十分に捉えていないことが明らかになっている。本論文では、BERTの埋め込みに内在する意味情報が十分に活用されていないと主張する。まず、マスクされた言語モデルの事前学習目的と意味類似性タスクとの間の理論的関連性を理論的に示し、次にBERTの文埋め込みを実証的に分析する。その結果、BERTが常に非滑らかで異方的な文の意味空間を生成することを発見した。この異方性は、意味類似性の性能を損なう要因となっている。この問題に対処するため、非教師あり目的に基づいて学習される正規化フロー（normalizing flows）を用いて、異方的な文埋め込み分布を滑らかで等方的なガウス分布に変換する手法を提案する。実験の結果、提案手法であるBERT-flowは、多数の意味的テキスト類似性タスクにおいて、最先端の文埋め込み手法と比較して顕著な性能向上を達成した。コードは以下のURLで公開されている：https://github.com/bohanli/BERT-flow。