教師付き対比学習と自己蒸留を用いた連合マルチインテント検出とスロットフィリング

音声言語理解における複数の意図検出（multiple intent detection）とスロット抽出（slot filling）は、基礎的かつ重要なタスクである。これらのタスクは密接に関連していることから、それぞれのタスクを独立して処理する個別モデルよりも、意図検出とスロット抽出を同時に実行できる統合モデル（joint model）が好まれる。統合モデルの精度は、両タスク間での情報伝達能力に大きく依存しており、一方のタスクの結果が他方の結果を補正・改善する仕組みが求められる。さらに、統合モデルは複数の出力を持つため、効果的な学習方法の設計も課題である。本研究では、これらの課題に対処するための手法を提案する。まず、意図情報を利用してスロットを認識する一方で、スロット特徴を活用して意図を検出する、双方向的な統合モデルを提案する。次に、教師付き対照学習（supervised contrastive learning）と自己蒸留（self-distillation）を組み合わせた新たな学習手法を導入し、提案モデルの効果的な訓練を実現する。MixATISおよびMixSNIPSという2つのベンチマークデータセットにおける実験結果から、本手法は両タスクにおいて最先端のモデルを上回る性能を達成した。また、双方向構造および学習手法のそれぞれが精度向上に寄与していることも明らかになった。本研究の実装コードは、https://github.com/anhtunguyen98/BiSLU にて公開されている。