15日前

コンパクトサポートニューラルネットワーク

Adrian Barbu, Hongyu Mou
コンパクトサポートニューラルネットワーク
要約

ニューラルネットワークは多くの分野で広く用いられ、有用性が認められているが、訓練データから離れた例に対して過剰な信頼度(高信頼度)の出力を示すという問題を抱えている。このため、ニューラルネットワークは予測において極めて自信を持つ一方で、重大な誤りを犯すことがあるため、自動運転や宇宙探査など、安全性が求められる応用分野における信頼性が制限される。本論文では、標準的なドット積ベースのニューロンと{\color{black}径方向基底関数(RBF)ニューロン}を、形状パラメータの二つの極端なケースとして含む、新しいニューロンの一般化を提案する。活性化関数として整流線形ユニット(ReLU)を用いることで、コンパクトサポートを持つ新しいニューロンが得られる。これは、出力が有界領域の外では常にゼロとなることを意味する。提案されたニューラルネットワークの学習における困難に対処するため、事前に学習された標準的なニューラルネットワークを用い、形状パラメータを徐々に目的の値まで増加させながら微調整する、新たな学習手法を導入している。理論的成果として、提案ニューロンの勾配に対する上限を導出し、このようなニューロンを用いたニューラルネットワークが普遍近似性(universal approximation property)を有することを証明した。これは、任意の連続かつ可積分関数を任意の精度で近似可能であることを意味する。標準的なベンチマークデータセットを用いた実験結果から、提案手法は最先端の競合手法よりも小さいテスト誤差を達成しており、3つのデータセットのうち2つにおいて、分布外(out-of-distribution)サンプルの検出性能においても競合手法を上回ることが示された。

コンパクトサポートニューラルネットワーク | 最新論文 | HyperAI超神経