초록
딥러닝 모델에서 FC(Fully Connected) 계층은 이전 계층에서 학습한 특징을 기반으로 입력 데이터를 분류하는 데 있어 가장 중요한 역할을 한다. FC 계층은 전체 파라미터 수가 가장 많으며, 이러한 방대한 수의 파라미터를 미세 조정하는 과정은 계산 자원의 대부분을 소모한다. 따라서 본 논문에서는 이러한 파라미터 수를 크게 줄이면서도 성능을 향상시키는 것을 목표로 한다. 이 연구의 동기는 SpinalNet 및 기타 생물학적 구조에서 영감을 받았다. 제안된 아키텍처는 입력 계층과 출력 계층 사이에 그래디언트 하이웨이(gradient highway)를 구축함으로써 깊은 네트워크에서의 그래디언트 소실 문제를 해결한다. 이 구조에서는 모든 계층이 이전 계층의 출력뿐만 아니라 CNN 계층의 출력도 입력으로 수신하게 되어, 최종 계층과 함께 모든 계층이 결정 과정에 기여하게 된다. 이 방법은 SpinalNet 아키텍처보다 더 우수한 분류 성능을 보이며, Caltech101, KMNIST, QMNIST, EMNIST 등 다양한 데이터셋에서 최신 기술(SOTA) 성능을 달성했다. 소스 코드는 다음 주소에서 확인할 수 있다: https://github.com/praveenchopra/ProgressiveSpinalNet.