I-Con：表征学习的统一框架

随着表征学习领域的发展，用于解决不同类别问题的不同损失函数也层出不穷。我们引入一个信息论方程，它概括了机器学习中大量的现代损失函数。具体而言，我们引入了一个框架，该框架表明，几大类机器学习方法能够精确地最小化两个条件分布（监督表征和学习表征）之间的 KL 散度积分。这一观点揭示了聚类、谱方法、降维、对比学习和监督学习背后的隐藏信息几何。该框架能够通过融合文献中的成功技术来开发新的损失函数。我们不仅提供了广泛的证明，将超过 23 种不同的方法联系起来，还利用这些理论成果创建了最先进的无监督图像分类器，在 ImageNet-1K 数据集上，其无监督分类结果比之前的最高水平提高了 8%。我们还证明了 I-Con 可以用来推导原则性的去偏差方法，从而改进对比表征学习器。