초록
적응형 최적화 방법에 대한 단순화된 분석을 통해, 적절한 적응성 조정이 이루어질 경우 비전 작업에서 SGD보다 우수한 성능을 보이는 새로운 최적화 알고리즘인 AvaGrad를 도출하였다. 본 연구에서는 제안한 방법의 강력함이 학습률과 적응성 간의 분리(decoupling)에 의해 부분적으로 설명됨을 관찰하였으며, 이는 하이퍼파라미터 탐색 과정을 크게 단순화시킨다. 이러한 관찰을 바탕으로, 기존의 통념과는 달리, Adam 역시 학습률과 적응성 간의 상호작용을 적절히 고려할 경우 비전 작업에서 SGD를 능가할 수 있음을 입증하였다. 실제 적용에서는 AvaGrad가 이미지 분류(CIFAR, ImageNet) 및 문자 수준의 언어 모델링(Penn Treebank) 작업에서 기존의 모든 최적화 기법(SGD 또는 적응형 최적화 기법)이 제공하는 일반화 정확도 측면에서 최고의 성능을 달성하고 있음을 확인하였다.