2 个月前

深度聚类:判别模型与K均值之间的联系

Mohammed Jabi; Marco Pedersoli; Amar Mitiche; Ismail Ben Ayed
深度聚类:判别模型与K均值之间的联系
摘要

在近期的深度聚类研究中,判别模型主导了文献,并报告了最具竞争力的性能。这些模型学习一个深层判别神经网络分类器,其中标签是潜在变量。通常情况下,它们使用多项逻辑回归后验概率和参数正则化,这是监督学习中非常常见的做法。普遍认为,判别目标函数(例如基于互信息或KL散度的目标函数)比生成方法(例如K均值算法)更为灵活,因为它们对数据分布所做的假设较少,并且通常能产生更好的无监督深度学习结果。表面上看,一些最近的判别模型似乎与K均值算法无关。然而,本研究证明,在温和条件下以及常用的后验模型和参数正则化的框架下,这些模型实际上等价于K均值算法。我们证明了,对于常用的逻辑回归后验概率,通过近似交替方向法(ADM)最大化$L_2$正则化的互信息等价于软化且正则化的K均值损失函数。我们的理论分析不仅直接将几个最新的先进判别模型与K均值算法联系起来,还提出了一种新的软化且正则化的深度K均值算法,在多个图像聚类基准测试中表现出具有竞争力的性能。

深度聚类:判别模型与K均值之间的联系 | 最新论文 | HyperAI超神经