オープンセット認識：良いクローズドセット分類器があれば、他に何も必要ないのか？

分類器の訓練データに含まれる語義クラスのいずれかにテストサンプルが属するかどうかを識別できる能力は、モデルの実用的導入において極めて重要である。このタスクは「オープンセット認識（Open-Set Recognition, OSR）」と呼ばれ、近年注目を集めている。本論文では、まず、分類器が「上記のいずれにも該当しない」（none-of-above）という判断を行う能力が、閉じたセット（closed-set）クラスにおける精度と強く相関していることを示す。この関係は、異なる損失関数の目的関数やネットワークアーキテクチャにかかわらず成り立ち、標準的なOSRベンチマークおよび大規模なImageNet評価においても同様の傾向が確認された。第二に、この相関関係を活用して、最大ログリットスコアに基づくOSR「ベースライン」の性能を、閉じたセットの精度向上によって強化した。この強力なベースラインを用いることで、多数のOSRベンチマークにおいて最先端の性能を達成した。同様に、既存の最先端手法の性能も閉じたセット精度の向上により向上させたが、その結果として得られる性能差は限定的であった。第三の貢献として、従来の分布シフト（distribution shift）の評価（例えば、分布外検出など）とは異なり、語義的な新奇性（semantic novelty）をより適切に捉えることを目的とした「語義シフトベンチマーク（Semantic Shift Benchmark, SSB）」を提案する。この新規評価設定においても、強力なベースラインと既存の最先端手法の間には有意な差は認められなかった。プロジェクトページ：https://www.robots.ox.ac.uk/~vgg/research/osr/