マルチインテントNLUのための二段階予測認識型対照学習フレームワーク

複数意図を持つ自然言語理解（Multi-intent NLU）は、単一の発話内に複数の意図が存在するため、モデルの誤解が生じやすく、極めて困難な課題である。従来の手法は、異なる複数意図ラベル間のマージンを拡大するために対照学習（contrastive learning）を用いてモデルを訓練するが、このようなアプローチは複数意図NLUの微妙な特性に対応しきれていない。特に、共有される意図間にある豊かな情報が無視されており、これは低データ環境下においてもより優れた埋め込み空間（embedding space）の構築に寄与する重要な知識である。本研究では、こうした貴重な知識を活用するため、2段階の予測意識型対照学習（Prediction-Aware Contrastive Learning; PACL）フレームワークを提案する。本手法は、単語レベルの事前学習と予測意識型対照微調整を統合することで、共有意図の情報を効果的に活用する。まず、単語レベルのデータ拡張戦略を用いて事前学習用データセットを構築し、その後、対照微調整の過程でインスタンスに動的に役割を割り当てるとともに、予測に応じた対照損失（prediction-aware contrastive loss）を導入することで、対照学習の効果を最大化する。本研究では、広く用いられる3つのデータセットを用いた実験結果と実証的分析を通じて、本手法が低データ環境およびフルデータ環境の両方において、3つの代表的なベースラインを上回る性能を示したことを示している。