摘要
分布外（Out-of-distribution, OOD）检测旨在识别与分布内（in-distribution, ID）任务无关的输入样本。当前，当分布内数据为ImageNet-1K时，OOD检测性能通常在少数几个测试用的OOD数据集上进行评估。我们发现，目前广泛使用的多数测试OOD数据集，包括来自开放集识别（open set recognition, OSR）文献中的数据集，存在严重问题：在某些情况下，数据集中超过50%的样本实际上属于ID类别中的对象。这些错误样本严重扭曲了对OOD检测器性能的评估结果。为此，我们提出了一个新的测试OOD数据集NINCO，其每个样本均经过严格验证，确保不含任何ID类别样本。NINCO具有细粒度的OOD类别划分，能够支持对OOD检测器性能的细致分析，尤其在结合一系列合成的“OOD单元测试”（OOD unit-tests）时，可有效揭示检测器的优势与失效模式。我们在NINCO数据集及这些单元测试上，对大量网络架构和OOD检测方法进行了详尽评估，揭示了模型在OOD检测中的潜在弱点，以及预训练策略对检测性能的影响。相关代码与数据已开源，地址为：https://github.com/j-cb/NINCO。