要約
深層ニューラルネットワーク（DNN）の推論精度は、重要な性能指標であるが、実際のテストデータセットに依存して大きく変動し、正解ラベル（ground truth）が欠如しているため、通常は正確な値が不明である。この問題は、特に安全が求められる応用分野においてDNNの信頼性に関する重大な懸念を引き起こしている。本論文では、ユーザーのデータセット上でDNNの真の推論精度をモニタリングするための事後処理（post-hoc processing）を用いて、DNNの信頼性を向上させる手法を提案する。具体的には、展開済みDNNのソフトマックス確率出力のみを入力として受け取り、DNNの予測結果が正しいか否かを直接予測するニューラルネットワークベースの精度モニタモデルを提案する。このアプローチにより、真の推論精度の推定が可能となる。この精度モニタモデルは、対象となる応用分野に関連するデータセット上で事前学習が可能であり、ユーザーのデータセットのわずかな部分（実験では1％）を積極的にラベル付けするだけで、モデルの転移が可能である。推定のロバスト性を高めるために、モンテカルロドロップアウト法に基づく複数のモニタモデルのアンサンブルを採用している。本手法は、複数の画像分類および交通標識検出用の展開済みDNNモデルに対して、複数のデータセット（悪意あるサンプルを含む）上で評価された。その結果、本手法が真の精度に近い推定を実現し、既存のベースライン手法を上回ることが示された。