要約
非線形活性化関数は、深層ニューラルネットワークアーキテクチャの主要な構成要素の一つである。活性化関数の選定は、モデルの速度、性能、収束性に影響を与える可能性がある。現在最も広く用いられている活性化関数の多くは、学習可能なパラメータを有さず、学習過程において変化しない。本研究では、学習可能なパラメータを有するものと、それを持たないものとを含む、新たな活性化関数を提案する。これらの活性化関数にはそれぞれ利点と欠点が存在する。本研究では、これらの活性化関数の性能を評価し、広く知られたReLU関数と比較検証を行う。我々は、学習可能なパラメータを有する活性化関数の方が、パラメータを持たないものよりも優れた性能を発揮する可能性が高いと仮定している。その理由は、学習可能なパラメータにより、モデルが自身で各活性化関数の種類を「選択」できるからである。ただし、この効果は深層ニューラルネットワークのアーキテクチャや、使用する活性化関数の性質に強く依存する。