2ヶ月前

制約付き深層適応クラスタリングによる新しい意図の発見とクラスタ改良

Ting-En Lin; Hua Xu; Hanlei Zhang
制約付き深層適応クラスタリングによる新しい意図の発見とクラスタ改良
要約

新しいユーザ意向の特定は対話システムにおいて重要な課題である。しかし、意向の定義が事前知識に強く依存しているため、満足のいくクラスタリング結果を得ることが難しい。既存の手法では、事前知識を組み込むために集中的な特徴量エンジニアリングが行われているが、これにより過学習が生じやすく、またクラスタ数に対する感度も高くなる。本論文では、事前知識としてペアワイズ制約を自然に組み込むことができるエンドツーエンドのクラスタリング手法である制約付き深層適応クラスタリングとクラスタリファイネーション(CDAC+)を提案する。さらに、モデルが高信頼度の割り当てから学習することを強制することでクラスタを洗練する。低信頼度の割り当てを排除した後、当手法は驚くほどクラスタ数に対して鈍感となる。3つのベンチマークデータセットでの実験結果は、当手法が強力なベースラインに対して有意な改善をもたらすことを示している。