11 天前

通过非参数化实例判别进行无监督特征学习

{Zhirong Wu, Yuanjun Xiong, Stella X. Yu, Dahua Lin}
通过非参数化实例判别进行无监督特征学习
摘要

在带有标注类别标签的数据上训练的神经网络分类器,即使未被明确引导,也能捕捉到不同类别之间的表观视觉相似性。我们探究这一现象是否可以超越传统监督学习的范畴:能否仅通过要求特征具备区分个体实例的能力,便学习到一种能够捕捉实例间表观相似性的优质特征表示?为此,我们将这一直觉形式化为一个实例级别的非参数分类问题,并采用噪声对比估计(noise-contrastive estimation)来应对因实例类别数量庞大所带来的计算挑战。实验结果表明,在无监督学习设置下,我们的方法在ImageNet分类任务上显著超越现有最先进水平。此外,该方法在使用更多训练数据和更优网络架构时,始终表现出稳定的测试性能提升。通过微调所学特征,我们在半监督学习和目标检测任务中也获得了具有竞争力的结果。我们的非参数模型具有极高的紧凑性:每张图像仅需128维特征,对一百万张图像进行存储仅需600MB,从而在运行时实现快速的最近邻检索。

通过非参数化实例判别进行无监督特征学习 | 最新论文 | HyperAI超神经