开放世界中的大规模长尾识别

现实世界中的数据通常具有长尾和开放性的分布特征。一个实用的识别系统必须能够在多数类和少数类之间进行分类，从少量已知实例中泛化，并在遇到从未见过的实例时识别其新颖性。我们将这种基于自然分布数据的学习并优化包含头部、尾部和开放类别的平衡测试集上的分类准确率的任务定义为开放长尾识别（OLTR）。OLTR需要在一个集成算法中同时处理不平衡分类、少样本学习和开放集识别问题，而现有的分类方法往往只关注其中一个方面，在整个类别谱上表现不佳。关键挑战在于如何在头部和尾部类别之间共享视觉知识，以及如何减少尾部类别与开放类别之间的混淆。我们开发了一种集成的OLTR算法，该算法将图像映射到一个特征空间，使得视觉概念能够根据所学度量轻松关联，同时尊重闭合世界的分类并承认开放世界的新颖性。我们所谓的动态元嵌入结合了直接图像特征和相关记忆特征，其中特征范数表示对已知类别的熟悉程度。我们在从以对象为中心的ImageNet、以场景为中心的Places和以人脸为中心的MS1M数据中整理出的三个大规模OLTR数据集上进行了实验，结果表明我们的方法始终优于现有最先进方法。我们的代码、数据集和模型支持未来的OLTR研究，并已公开发布在https://liuziwei7.github.io/projects/LongTail.html。