11 天前

通过实例判别与特征去相关实现聚类友好的表示学习

Yaling Tao, Kentaro Takagi, Kouta Nakata
通过实例判别与特征去相关实现聚类友好的表示学习
摘要

聚类是机器学习中最基础的任务之一。近年来,深度聚类已成为聚类技术的主要研究趋势。表示学习在深度聚类的性能中通常发挥着关键作用,因此也可能成为性能下降的主要原因。本文提出一种面向聚类的表示学习方法,结合实例判别(instance discrimination)与特征去相关(feature decorrelation)。所提出的基于深度学习的表示学习方法,其设计灵感源自经典谱聚类的性质:实例判别旨在学习数据样本之间的相似性,而特征去相关则用于消除特征间的冗余相关性。我们采用一种实例判别机制,通过学习每个独立样本的类别,实现对样本间相似性的有效建模。通过详尽的实验与分析,我们证明该方法能够有效适应聚类任务所需的潜在空间学习。为此,我们设计了一种新颖的基于Softmax形式的去相关约束机制。在CIFAR-10和ImageNet-10图像聚类任务上的评估结果表明,本方法分别取得了81.5%和95.4%的聚类准确率。此外,实验还验证了Softmax形式的约束与多种神经网络架构具有良好的兼容性。

通过实例判别与特征去相关实现聚类友好的表示学习 | 最新论文 | HyperAI超神经