高速、効果的、自己監督型：マスク言語モデルを普遍的な単語と文のエンコーダに変換する

事前学習済みのマスク言語モデル（MLM）は、近年の自然言語処理（NLP）を革命的に変革しました。しかし、これまでの研究では、タスクデータを使用せずに自然言語推論（NLI）、文類似度、または言い換えタスクに特化した微調整を行わないと、既製のMLMが普遍的な単語や文エンコーダとして効果的ではないことが示されています。本研究では、追加のデータや監督なしでMLMを効果的な普遍的な単語と文エンコーダに変換することが可能であることを示します。私たちは、極めて単純かつ高速で効果的なコントラスティブ学習技術であるMirror-BERTを提案します。この技術は、20〜30秒で外部知識なしにMLM（例：BERTやRoBERTa）をこのようなエンコーダに変換します。Mirror-BERTは、完全に同一またはわずかに変更された文字列ペアを肯定的な微調整例として使用し、同一性微調整中にそれらの類似度を最大化することを目指しています。我々は異なるドメインや異なる言語での単語レベルおよび文レベルのタスクにおいて、Mirror-BERTを使用することで既製のMLMに対して大幅な改善が得られることを報告します。特に標準的な文意味類似度（STS）タスクでは、自己教師ありのMirror-BERTモデルが先行研究のタスク特化型Sentence-BERTモデルと同等の性能を達成しています。最後に、MLMの内部メカニズムについて詳しく考察し、この単純なアプローチがなぜ効果的な普遍的な単語と文エンコーダを生成できるのかについていくつかの証拠を提示します。