2 个月前

支持聚类的对比学习

Dejiao Zhang; Feng Nan; Xiaokai Wei; Shangwen Li; Henghui Zhu; Kathleen McKeown; Ramesh Nallapati; Andrew Arnold; Bing Xiang
支持聚类的对比学习
摘要

无监督聚类旨在根据表示空间中的某种距离度量来发现数据的语义类别。然而,在学习过程的初期,不同的类别往往在表示空间中相互重叠,这对基于距离的聚类方法实现良好的类别分离构成了重大挑战。为此,我们提出了一种新的框架——对比学习支持聚类(Supporting Clustering with Contrastive Learning, SCCL),该框架利用对比学习促进更好的类别分离。我们在短文本聚类任务上评估了SCCL的性能,结果表明,SCCL在大多数基准数据集上显著提升了现有最佳结果,准确率提高了3%-11%,归一化互信息提高了4%-15%。此外,我们的定量分析证明了SCCL在利用自下而上的实例区分和自上而下的聚类优势方面具有有效性,从而在使用真实聚类标签进行评估时实现了更好的簇内和簇间距离。