SenseBERT: BERTに意味をもたらす

大規模な未ラベルコーパスから学習する能力は、ニューラル言語モデルが自然言語理解の最先端を推進することを可能にしました。しかし、既存の自己監督技術は単語形態レベルで動作しており、これは潜在的な意味内容の代替となっています。本論文では、弱い監督を直接単語意味レベルで利用する方法を提案します。我々のモデル「SenseBERT」は、マスクされた単語だけでなくそのWordNet超感（supersenses）も予測するように事前学習されています。これにより、人間によるアノテーションを使用せずに、言葉と意味のレベルでの言語モデルを実現しています。SenseBERTは著しく改善された辞書的意味理解を達成しており、これはSemEval単語意味曖昧性解消タスクにおける実験結果やWord in Contextタスクでの最先端の成果によって示されています。