具有类人顶树突激活的非线性神经元

为了对线性不可分的数据进行分类，神经元通常被组织成至少包含一个隐藏层的多层神经网络。受神经科学领域近期一些发现的启发，我们提出了一种新型人工神经元模型，以及一种创新的激活函数，使得单个神经元即可学习非线性决策边界。我们证明，一个标准神经元配合我们提出的顶树突激活函数（Apical Dendrite Activation, ADA），能够以100%的准确率学习异或（XOR）逻辑函数。此外，我们在计算机视觉、信号处理和自然语言处理领域的六个基准数据集上进行了实验，包括MOROCO、UTKFace、CREMA-D、Fashion-MNIST、Tiny ImageNet和ImageNet。实验结果表明，ADA函数及其改进版本——漏失型ADA（leaky ADA），在多种神经网络架构下均显著优于传统的ReLU、漏失ReLU（leaky ReLU）、径向基函数（RBF）和Swish激活函数，涵盖单隐藏层与双隐藏层多层感知机（MLP），以及LeNet、VGG、ResNet和字符级CNN等卷积神经网络结构。当我们将标准神经元模型替换为带有顶树突激活的金字塔型神经元（Pyramidal Neuron with Apical Dendrite Activations, PyNADA）时，性能进一步提升。相关代码已开源，地址为：https://github.com/raduionescu/pynada。