MIDAS：マルチターンNLUにおける多段階意図、ドメイン、スロット知識蒸留

大規模言語モデル（LLM）は一貫性のあるテキスト生成が可能であるものの、ユーザーの質問の背後にある意図を正しく認識する点でしばしば課題に直面する。これに対して、自然言語理解（NLU）モデルは、ユーザー入力の目的および重要な情報を解釈し、適切な応答を可能にする。従来のNLUモデルは、通常、文レベルの意図（SI）と単語レベルのスロット（WS）ラベルからなる二段階の意味枠に発話内容をマッピングする。しかし、実際の会話は主に多ターン対話で構成されており、複雑かつ継続的なやり取りの理解が求められる。研究者たちは、統一的なNLUモデルによって多ターン対話のすべての側面を扱うことに困難を抱えている。本論文では、多ターンNLUに向けた、多レベルの意図、ドメイン、スロット知識の蒸留を活用する新しいアプローチであるMIDASを提案する。SI検出、WS補完、会話レベルのドメイン（CD）分類の各タスクに対して、それぞれ特化した教師モデルを構築し、それぞれが特定の知識を微調整している。さらに、これらの教師モデルを統合するためのマルチ教師損失関数を提案し、学生モデルが多ターン対話タスクにおいて効果的に学習できるように支援する。実験結果から、本モデルが多ターン会話理解の向上に有効であることが示され、多レベル対話知識蒸留によるNLUの進展の可能性が示された。本研究の実装コードは、https://github.com/adlnlp/Midas にてオープンソースとして公開されている。