リソース制限されたシステムにおける対話状態追跡のためのシンプルだが効果的なBERTモデル

タスク指向型対話システムにおいて、対話状態追跡（DST）の目的は、対話履歴から対話の状態をモニタリングすることにある。近年、このタスクに対して多くの深層学習ベースの手法が提案されている。それらは優れた性能を示しているものの、現在の神経ネットワークアーキテクチャは通常、高度に設計されており、概念的にも複雑であるため、実運用環境における実装、デバッグ、メンテナンスが困難である。本研究では、BERTを基盤とするシンプルでありながら効果的なDSTモデルを提案する。本手法は単純さに加え、以下の複数の利点を持つ：（a）オントロジーのサイズに応じてパラメータ数が増大しない、（b）ドメインオントロジーが動的に変化する状況でも運用可能である。実験結果により、本研究で提案するBERTベースのモデルが従来手法を大きく上回り、標準的なWoZ 2.0データセットにおいて新たな最先端の性能を達成したことが示された。さらに、リソース制約のあるシステムに適応させるために、モデルを小型かつ高速化するため、知識蒸留（knowledge distillation）手法を適用した。最終的に得られた圧縮モデルは、元のモデルと同等の性能を維持しつつ、サイズは8倍小さく、速度は7倍速くなった。