2ヶ月前

新しい意図の発見に向けた深層アライドクラスタリング

Hanlei Zhang; Hua Xu; Ting-En Lin; Rui Lyu
新しい意図の発見に向けた深層アライドクラスタリング
要約

新しい意図の発見は対話システムにおいて重要な課題である。既存の方法の多くは、既知の意図から未知の意図への事前知識の転送に制限があり、また、ラベル付けされていない意図をクラスタリングに適した特徴量で学習するための高品質な教師信号を提供することにも困難を伴う。本研究では、限られた既知の意図データを活用して新しい意図を発見する効果的な手法である「深層アライメントクラスタリング」(Deep Aligned Clustering)を提案する。まず、少数のラベル付き既知意図サンプルを使用してモデルを事前学習させる。次に、k-means法によりクラスタ割り当てを行い、疑似ラベルとして利用する。さらに、クラスタ割り当て中のラベルの一貫性問題に対処するためにアライメント戦略を提案する。最後に、アライメントされた疑似ラベルの監視下で意図表現を学習する。未知数の新しい意図に対しては、信頼度が低いクラスタを排除することで意図カテゴリ数を予測する。2つのベンチマークデータセットにおける広範な実験結果から、本手法がより堅牢であり、最先端の手法に対して大幅な改善を達成していることが示された。コードは https://github.com/thuiar/DeepAligned-Clustering で公開されている。