意味認識型BERTによる言語理解

最新の言語表現に関する研究では、文脈に応じた特徴を言語モデルの学習に慎重に統合することで、機械読解や自然言語推論といった多様なタスクにおいて顕著な成果が得られている。しかし、ELMo、GPT、BERTといった既存の言語表現モデルは、文字や単語の埋め込みといった単純な文脈依存的特徴のみを活用しており、言語表現に豊かな意味情報を提供できる構造化された意味情報の統合はほとんど考慮されていない。自然言語理解の向上を図るため、本研究では事前学習済みの意味役割抽出（Semantic Role Labeling: SRL）から得られる明示的な文脈的意味情報を導入し、BERTのバックボーン上に明示的に文脈的意味を吸収可能な改訂型言語表現モデル「Semantics-aware BERT（SemBERT）」を提案する。SemBERTは、従来のBERTと同様に軽微なファインチューニングで利用可能であり、タスク固有の大幅な修正を必要としないという利便性を維持している。コンセプトはBERTと同等にシンプルであるが、性能面ではより強力である。10の読解および言語推論タスクにおいて、従来の最良手法を上回る新たなSOTA（State-of-the-art）結果を達成するか、大幅な性能向上を実現した。