초록
딥러닝 분야에서 신경망의 효율적인 학습을 위해 최적화 방법(옵티마이저)에 특별한 관심이 쏠리고 있다. 문헌에는 다양한 옵티마이저를 사용하여 학습된 신경망 모델들을 비교하는 논문들이 다수 존재한다. 각 논문은 특정 문제에 대해 하나의 옵티마이저가 다른 것들보다 우수함을 보여주지만, 문제의 성격이 변화하면 이러한 결과는 더 이상 유효하지 않으며 다시 처음부터 시작해야 한다. 본 논문에서는 매우 다른 성격을 가진 두 가지 옵티마이저를 동시에 사용하는 조합 방식을 제안한다. 이 조합은 매우 다양한 문제 상황에서 단일 옵티마이저의 성능을 넘어서는 효과를 발휘할 수 있다. 우리는 SGD와 ADAM을 동시에 통합하여, 각각의 기여도를 일정한 가중치로 조절하는 새로운 옵티마이저인 MAS(Mixing ADAM and SGD)를 제안한다. SGD나 ADAM을 개선하려는 시도가 아니라, 두 알고리즘의 장점을 동시에 활용함으로써 최적의 성능을 도출하는 전략을 취한다. 다양한 CNN 아키텍처를 사용하여 이미지 및 텍스트 문서 분류 문제에 대해 다수의 실험을 수행한 결과, 제안하는 MAS 옵티마이저가 단일 SGD 또는 ADAM보다 더 우수한 성능을 보임을 실험적으로 입증하였다. 본 연구의 소스 코드 및 모든 실험 결과는 다음 링크에서 온라인으로 공개되어 있다: https://gitlab.com/nicolandromulti_optimizer