要約
意図分類とスロット充填は、自然言語理解の二つの重要なタスクです。これらのタスクは、小規模な人間によるラベル付けされた学習データに依存しているため、特に稀少単語に対して汎化能力が低くなる傾向があります。最近、新しい言語表現モデルであるBERT（Bidirectional Encoder Representations from Transformers）が開発され、大規模な無ラベルコーパス上で深層双方向表現の事前学習を容易にしました。単純な微調整後、BERTは様々な自然言語処理タスクで最先端のモデルを生み出しています。しかし、自然言語理解におけるBERTの応用については十分な研究が行われてきませんでした。本研究では、BERTに基づく統合的な意図分類とスロット充填モデルを提案します。実験結果は、提案したモデルが注意機構に基づく再帰型ニューラルネットワークモデルやスロットゲートモデルと比較して、意図分類精度、スロット充填F1値、文レベルの意味フレーム精度において有意な改善を達成していることを示しています。