단순하게 유지합시다. 단순한 구조를 사용하여 더 깊고 복잡한 구조를 능가하기

주요 우승 모델인 컨벌루션 신경망(CNN)들, 예를 들어 AlexNet, VGGNet, ResNet, GoogleNet은 수천만에서 수억 개의 매개변수를 포함하고 있어 상당한 계산 및 메모리 부하를 초래합니다. 이는 훈련, 최적화 및 메모리 효율성 측면에서 실용적인 사용을 제한합니다. 반면에 이러한 문제를 해결하기 위해 제안된 경량 아키텍처들은 주로 정확도가 낮다는 단점이 있습니다. 이러한 비효율성은 대부분 임의적인 절차를 따름으로써 발생합니다. 우리는 설계 원칙들을 바탕으로 한 간단한 아키텍처인 SimpleNet을 제안하며, 이를 통해 경험적으로 잘 설계되었지만 간단하고 적절히 깊은 아키텍처가 더 깊고 복잡한 아키텍처와 비슷한 성능을 보일 수 있음을 입증하였습니다. SimpleNet은 계산/메모리 효율성과 정확도 사이에서 좋은 균형을 제공합니다. 우리의 간단한 13층 아키텍처는 VGGNet, ResNet, GoogleNet 등 대부분의 더 깊고 복잡한 아키텍처보다 여러 유명 벤치마크에서 우수한 성능을 보이며, 매개변수와 연산 횟수가 2배에서 25배 적습니다. 이는 임베디드 시스템이나 계산 및 메모리 제약이 있는 시스템에서 매우 활용하기 쉽다는 것을 의미합니다. 우리는 CIFAR10에서 가장 뛰어난 결과를 달성하여 여러 무거운 아키텍처들을 능가하였으며, MNIST에서는 거의 최고 수준의 성능을 보였으며 CIFAR100과 SVHN에서도 경쟁력 있는 결과를 얻었습니다. 또한 ImageNet 데이터셋에서도 VGGNet과 ResNets의 인기 변형 모델 등 더 크고 깊은 아키텍처들보다 우수한 성능을 보였습니다. 모델들은 다음 링크에서 다운로드할 수 있습니다: https://github.com/Coderx7/SimpleNet