비선형 뉴런의 인간 유사한 상부 수상돌기 활성화

선형적으로 분리되지 않는 데이터를 분류하기 위해, 일반적으로 최소한 하나의 은닉층을 갖춘 다층 신경망 구조로 뉴런을 구성한다. 최근 신경과학 분야에서의 몇 가지 발견에 영감을 받아, 단일 뉴런을 이용하여 비선형 결정 경계를 학습할 수 있도록 하는 새로운 인공 뉴런 모델과 새로운 활성화 함수를 제안한다. 본 연구에서는 기존의 표준 뉴런에 제안하는 새로운 수상돌기 활성화 함수(Ada-Phylogenetic Dendrite Activation, ADA)를 적용하면 XOR 논리 함수를 100% 정확도로 학습할 수 있음을 보여준다. 또한 컴퓨터 비전, 신호 처리, 자연어 처리 분야의 6개 벤치마크 데이터셋(MOROCO, UTKFace, CREMA-D, Fashion-MNIST, Tiny ImageNet, ImageNet)에 대해 실험을 수행한 결과, 다양한 신경망 아키텍처(예: 단일 은닉층 또는 이중 은닉층을 갖는 다층 퍼셉트론(MLP), LeNet, VGG, ResNet, 문자 수준 CNN 등)에서 ADA 및 레이크리(Leaky) ADA 함수가 기존의 Rectified Linear Unit(ReLU), 레이크리 ReLU, RBF, Swish 함수보다 우수한 성능을 보임을 확인하였다. 또한 표준 뉴런 모델을 우리의 수상돌기 활성화를 갖춘 피라미드형 뉴런(Pyramidal Neuron with Apical Dendrite Activation, PyNADA)으로 대체할 경우, 더 높은 성능 향상을 얻을 수 있다. 본 연구의 코드는 다음 주소에서 공개되어 있다: https://github.com/raduionescu/pynada.