本文旨在促进深度网络的泛化能力，同时保障所学表征的可解释性。为此，我们提出一种基于聚类的正则化方法，以鼓励简洁高效的表征学习。该方法采用类似k-means的优化目标，具有易于优化和高度灵活的特点，可支持多种聚类形式，包括样本聚类、空间聚类以及共聚类（co-clustering）。我们在无监督学习、分类、细粒度分类以及零样本学习等任务上验证了该方法的有效性。