분류기의 학습 데이터셋에 포함된 의미적 클래스 중 하나에 테스트 샘플이 속하는지 여부를 식별할 수 있는 능력은 모델의 실용적 배포에 있어 핵심적인 요소이다. 이 작업은 최근 몇 년간 큰 주목을 받고 있는 '오픈셋 인식(Open-Set Recognition, OSR)'이라고 불린다. 본 논문에서는 먼저, 분류기가 '위의 어느 것도 아님'이라는 판단을 내릴 수 있는 능력이 닫힌셋 클래스에 대한 정확도와 매우 높은 상관관계를 보임을 처음으로 입증한다. 이 관계는 다양한 손실 목적함수와 아키텍처에 걸쳐 일관되게 나타나며, 표준 OSR 벤치마크뿐 아니라 대규모 ImageNet 평가에서도 동일한 추세를 확인할 수 있다. 두 번째로, 이러한 상관관계를 활용하여 최대 로짓 점수 기반 OSR '기준 모델'의 성능을 닫힌셋 정확도 향상으로 개선하고, 이 강력한 기준 모델을 통해 여러 OSR 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 유사하게, 기존의 최신 기술 수준 방법의 닫힌셋 정확도를 향상시켜 성능을 개선할 수 있었지만, 그 결과로 나타난 강력한 기준 모델과의 성능 차이는 미미한 수준이었다. 세 번째로, 본 논문은 기존의 분포 변화(distribution shift) 형태(예: 분포 밖 데이터 탐지)와는 달리 의미적 신기능(semantic novelty) 탐지라는 작업의 본질을 더 잘 반영하는 '의미적 이동 벤치마크(Semantic Shift Benchmark, SSB)'를 제안한다. 이 새로운 평가 환경에서 다시 한번 강력한 기준 모델과 기존의 최신 기술 수준 방법 간에 거의 차이가 없음을 입증하였다. 프로젝트 페이지: https://www.robots.ox.ac.uk/~vgg/research/osr/