BERTの応答選択における効果的なドメイン適応後学習方法

われわれは、検索ベースの対話システムにおける多ターン応答選択に焦点を当てています。本論文では、強力な事前学習言語モデルであるトランスフォーマーの双方向エンコーダ表現（BERT: Bidirectional Encoder Representations from Transformers）を多ターン対話システムに利用し、ドメイン固有のコーパスに対する効果的な後学習方法を提案します。BERTは様々な自然言語処理（NLP）タスクに容易に適用でき、各タスクの従来の基準を上回りますが、タスクのコーパスが特定のドメインに過度に集中している場合、制限があります。ドメイン固有のコーパス（例：Ubuntuコーパス）での後学習は、一般的なコーパス（例：英語版Wikipedia）には含まれていない文脈依存表現や単語をモデルが学習するのに役立ちます。実験結果は、当方針が2つの応答選択ベンチマーク（UbuntuコーパスV1、アドバイジングコーパス）においてR@1で5.9%と6%の性能向上を達成し、新たな最先端の成果を示していることを示しています。