11日前

Transformerベースのしきい値フリー枠組みによるマルチインテントNLU

{Xinzhong Sun, Yong Wang, Yuexian Zou, Nuo Chen, Lisung Chen}
Transformerベースのしきい値フリー枠組みによるマルチインテントNLU
要約

近年、複数意図を含む自然言語理解(Multi-intent Natural Language Understanding, NLU)が注目を集めている。これは、発話(utterance)内に複数の意図を検出する能力を有しており、現実世界のシナリオに適している。しかし、最先端の統合型NLUモデルは、主に閾値(threshold)に基づく戦略によって複数の意図を検出しているため、極めて大きな課題が生じている。すなわち、モデルの性能が閾値の設定に極めて敏感になる点である。本論文では、Transformerベースの閾値非依存型複数意図NLUモデル(Threshold-Free Multi-intent NLU model, TFMN)を提案し、マルチタスク学習(Multi-task Learning, MTL)を活用する。具体的には、Transformerベースのエンコーダの複数層を活用して、多スケールの表現(multi-grain representations)を生成する。さらに、追加の手動ラベルを必要とせずに、各発話における複数意図の数に関する情報を活用し、新たな補助タスクとして「意図数検出(Intent Number Detection, IND)」を提案する。また、INDタスクの出力を用いることで閾値に依存せずに複数意図を検出可能な閾値非依存型意図分類器を設計する。広範な実験により、提案モデルが2つの公開複数意図データセットにおいて優れた性能を達成することが確認された。

Transformerベースのしきい値フリー枠組みによるマルチインテントNLU | 最新論文 | HyperAI超神経