要約
分布外（Out-of-distribution, OOD）検出とは、分布内（in-distribution, ID）のタスクとは関係のない入力を識別する問題である。現在、IDデータセットとしてImageNet-1Kを用いた場合のOOD検出性能は、限定された少数のテストOODデータセット上で評価されている。我々は、現在広く用いられている多数のテストOODデータセット（特にオープンセット認識（OSR）分野のデータセットを含む）に深刻な問題があることを発見した。一部のデータセットでは、全体の50％以上がIDクラスに属する物体を含んでおり、これらの誤ったサンプルがOOD検出器の評価を著しく歪めている。これを解決するため、我々はNINCOという新しいテストOODデータセットを提案する。NINCOの各サンプルは、IDクラスに含まれないことを厳密に検証済みであり、細かく分類されたOODクラスを備えることで、OOD検出器の強みや失敗モードを詳細に分析可能となる。特に、多数の合成「OODユニットテスト」を組み合わせることで、より深い洞察が得られる。本研究では、NINCOおよびユニットテストを用いた広範なアーキテクチャとOOD検出手法に対する詳細な評価を行い、モデルの脆弱性や事前学習のOOD検出性能への影響に関する新たな知見を明らかにした。コードとデータは、https://github.com/j-cb/NINCO にて公開している。