SpinalNet: 점진적 입력을 사용한 깊은 신경망

심층 신경망(DNNs)은 여러 분야에서 최고 수준의 성능을 달성하였습니다. 그러나 DNNs는 높은 계산 시간이 필요하며, 사람들은 더 낮은 계산으로 더 나은 성능을 기대하고 있습니다. 따라서 우리는 인간의 체감 시스템을 연구하여 더 적은 계산으로 더 높은 정확도를 달성하기 위한 신경망(SpinalNet)을 설계하였습니다.전통적인 신경망(NNs)의 은닉층은 이전 층의 입력을 받아 활성화 함수를 적용한 후 결과를 다음 층으로 전달합니다. 제안된 SpinalNet에서는 각 층이 세 가지 부분으로 나뉩니다: 1) 입력 부분, 2) 중간 부분, 3) 출력 부분. 각 층의 입력 부분은 전체 입력의 일부만 받습니다. 각 층의 중간 부분은 이전 층의 중간 부분에서 출력된 값과 현재 층의 입력 부분에서 출력된 값을 받습니다. 이로 인해 유입되는 가중치의 수가 전통적인 DNNs보다 크게 줄어듭니다. SpinalNet은 DNN의 완전 연결층 또는 분류층으로도 사용될 수 있으며, 전통적인 학습과 전이 학습 모두를 지원합니다.우리는 대부분의 DNNs에서 계산 비용이 낮아진 상태에서도 상당한 오류 감소를 관찰하였습니다. SpinalNet 분류층을 사용한 VGG-5 네트워크에서 전통적인 학습을 수행한 결과 QMNIST, Kuzushiji-MNIST, EMNIST (Letters, Digits, and Balanced) 데이터셋에서 최고 수준(SOTA)의 성능을 달성하였습니다. 또한 ImageNet 사전 훈련된 초기 가중치와 SpinalNet 분류층을 사용하여 전통적인 학습을 수행한 결과 STL-10, Fruits 360, Bird225, Caltech-101 데이터셋에서도 SOTA 성능을 제공하였습니다.제안된 SpinalNet 스크립트는 다음 링크에서 확인할 수 있습니다: https://github.com/dipuk0506/SpinalNet