Command Palette

Search for a command to run...

4ヶ月前

分布外検出における、現代的ホップフィールドエネルギーを用いた分布内データパターンの記憶に基づく手法

{Dongmei Zhang Shi Han Xiaoguang Liu Gang Wang Zelin Li Lun Du Xu Chen Qiang Fu Jinsong Zhang}

分布外検出における、現代的ホップフィールドエネルギーを用いた分布内データパターンの記憶に基づく手法

要約

分布外(Out-of-Distribution, OOD)検出は、深層ニューラルネットワークの安全を確保する上で重要な課題である。OOD検出は、DNNモデルが分布外(OOD)サンプルに対しても非常に高いログティット(logit)値を出力する可能性があるため、困難である。したがって、出力ログティットに直接Softmaxを適用して信頼度スコアとして利用する方法では、OODデータを効果的に識別することが極めて難しい。これに対して、本研究では「保存して比較(store-then-compare)」の枠組みのもと、モダンなホフリートネットワーク(Modern Hopfield Network)におけるホフリートエネルギーを用いてOODサンプルを検出する手法を提案する。具体的には、訓練データの最終層直前(penultimate layer)の出力を、分布内(in-distribution, ID)データの表現とみなす。この表現は、未知データの乖離度を測定するための基準(アーキテクチャ)として、保存されたパターンとして利用可能である。本研究では、モダンなホフリートネットワークで定義されたエネルギー関数に基づき、理論的分析をもとに簡略化されたモデルSHE(Simple Hopfield Energy)を導出する。SHEでは、各クラスに対して1つの保存パターンを用い、そのパターンはそのクラスに属する訓練サンプルの最終層直前出力を単純に平均することで得られる。SHEの特徴は、ハイパーパラメータを必要とせず、計算効率が非常に高い点にある。9つの広く用いられるOODデータセットにおける評価結果から、このシンプルでありながら効果的な手法が、最先端のモデルを上回る優れた性能を発揮することが示された。実装コードは以下のGitHubリポジトリで公開されている:https://github.com/zjs975584714/SHE-ood-detection

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
分布外検出における、現代的ホップフィールドエネルギーを用いた分布内データパターンの記憶に基づく手法 | 論文 | HyperAI超神経