通过信息最大化自增强训练学习离散表示

学习数据的离散表示是机器学习中的一个核心任务，因为这些表示具有紧凑性和易于解释的特点。该任务包括聚类和哈希学习作为其特殊情况。深度神经网络因其能够建模数据的非线性特性并扩展到大规模数据集而显示出巨大的潜力。然而，它们的模型复杂度很高，因此需要谨慎地对网络进行正则化，以学习在特定应用中表现出预期不变性的有用表示。为此，我们提出了一种称为信息最大化自增强训练（Information Maximizing Self-Augmented Training, IMSAT）的方法。在IMSAT中，我们利用数据增强来施加离散表示的不变性。具体来说，我们鼓励增强后的数据点的预测表示与原始数据点的预测表示在端到端的方式下保持接近。同时，我们最大化数据与其预测的离散表示之间的信息论依赖关系。广泛的基准数据集实验表明，IMSAT在聚类和无监督哈希学习方面均取得了最先进的结果。