人間のような頂蓋樹状突起活性を示す非線形ニューロン

線形的に分離不可能なデータを分類するためには、通常、少なくとも1つの隠れ層を備えた多層ニューラルネットワークにニューロンを階層的に配置する。近年の神経科学におけるいくつかの発見に着想を得て、単一のニューロンを用いて非線形な決定境界を学習可能とする新しい人工ニューロンモデルと、それに適した新しい活性化関数を提案する。本研究では、標準的なニューロンに我々が提案する新規の頂蓋樹状突起活性化（Apical Dendrite Activation: ADA）を組み合わせることで、XOR論理関数を100%の精度で学習できることを示す。さらに、コンピュータビジョン、信号処理、自然言語処理の分野から選ばれた6つのベンチマークデータセット（MOROCO、UTKFace、CREMA-D、Fashion-MNIST、Tiny ImageNet、ImageNet）を用いた実験により、ADAおよびリーク型ADA関数が、Rectified Linear Unit（ReLU）、リーク型ReLU、RBF、Swishといった従来の活性化関数と比較して、さまざまなニューラルネットワークアーキテクチャ（例：1層または2層の隠れ層を備えた多層パーセプトロン（MLP）、LeNet、VGG、ResNet、文字レベルCNNなど）において優れた性能を発揮することを確認した。また、標準的なニューロンモデルを我々が提案する頂蓋樹状突起活性化を備えたピラミッド型ニューロン（PyNADA）に置き換えることで、さらなる性能向上が得られた。本研究の実装コードは以下のURLから公開されている：https://github.com/raduionescu/pynada。