要約
分布外（OOD）サンプルの検出は、重要な安全性を要するシステムに機械学習モデルを適用する上で極めて重要である。従来のOOD検出手法は、訓練中に一部のOODサンプルにアクセスできるという仮定を置いており、現実のシナリオではそのようなサンプルが入手できない場合がある。本研究では、テスト対象の入力についていかなる仮定も行わない「予測正規化最大尤度（predictive normalized maximum likelihood: pNML）学習者」を用いる。本研究では、1層ニューラルネットワーク（NN）に対してpNMLの明示的表現およびその一般化誤差（いわゆる「レグレット」）を導出する。導出した結果から、以下の2つの条件下でこの学習者が良好な一般化性能を発揮することを示す：（i）テストベクトルが訓練データの経験的相関行列の大きな固有値に対応する固有ベクトルによって張られる部分空間に含まれる場合、または（ii）テストサンプルが決定境界から離れている場合。さらに、最後の層に対して導出したpNMLの明示式を用い、その後にソフトマックス関数を適用することで、事前学習済みの深層NNに本手法を効率的に適用する方法を提示する。このアプローチは、追加の可変パラメータも追加データも必要とせず、深層NNへの適用が可能である。本手法は、CIFAR-100、CIFAR-10、SVHN、ImageNet-30で学習されたDenseNet-100、ResNet-34、WideResNet-40モデルを用いて、74のOOD検出ベンチマークで広範な評価を行った結果、最近の最先端手法と比較して最大15.6%の性能向上を達成した。