2ヶ月前

対照学習を用いたクラスタリングの支援

Dejiao Zhang; Feng Nan; Xiaokai Wei; Shangwen Li; Henghui Zhu; Kathleen McKeown; Ramesh Nallapati; Andrew Arnold; Bing Xiang
対照学習を用いたクラスタリングの支援
要約

非監督クラスタリングは、表現空間におけるある距離を基準にデータの意味的なカテゴリーを発見することを目指しています。しかし、学習プロセスの初期段階では異なるカテゴリーがしばしば表現空間で重複し合うため、距離に基づくクラスタリングが良い分離を達成する上で大きな課題となっています。この問題に対処するため、我々はコントラスト学習を活用してより良い分離を促進する新しいフレームワークである「コントラスト学習によるクラスタリング支援(Supporting Clustering with Contrastive Learning: SCCL)」を提案します。SCCLの性能評価として、短文クラスタリングにおいてSCCLが多くのベンチマークデータセットで最先端の結果を大幅に向上させることを示しており、精度(Accuracy)では3-11%、正規化相互情報量(Normalized Mutual Information)では4-15%の改善が見られました。さらに、定量的な分析により、SCCLが下位からの中間層判別と上位からのクラスタリングの両方の強みを活用して、真のクラスターラベルに基づいて評価した際のクラスター内距離とクラスター間距離を改善することの有効性が示されています。

対照学習を用いたクラスタリングの支援 | 最新論文 | HyperAI超神経