VarMAE：ドメイン適応型言語理解のための変分マスク自動符号化器の事前学習

事前学習された言語モデルは一般的なベンチマークにおいて有望な性能を達成しているが、特定のドメインに移行した場合には性能が低下する傾向がある。近年の研究では、ドメイン固有のコーパス上で事前学習を再実施するか、継続的な事前学習を行う手法が提案されている。しかし、多くの特定ドメインではコーパスの量が限られているため、精度の高い表現を獲得することが困難である。この課題に対処するために、本研究ではドメイン適応型言語理解を目的とした新しいTransformerベースの言語モデルVarMAEを提案する。マスクされた自己符号化（masked autoencoding）の目的関数の下で、トークンの文脈を滑らかな潜在分布として表現するための「文脈不確実性学習モジュール」を設計した。このモジュールは多様かつ整合性の高い文脈表現を生成可能である。科学および金融分野における自然言語理解（NLU）タスクにおける実験結果から、VarMAEがリソースが限られた環境下でも効率的に新ドメインに適応できることを示した。