초록
딥러닝 방법론은 많은 응용 시나리오에서 최고 수준의 성능을 달성하고 있습니다. 그러나 이러한 방법론이 최상의 결과를 얻기 위해서는 많은 하이퍼파라미터 조정이 필요합니다. 특히, 확률적 최적화 과정에서 학습률을 조정하는 것이 여전히 주요한 병목 현상 중 하나입니다. 본 논문에서는 딥 네트워크에 대한 새로운 확률적 경사하강법 절차를 제안하는데, 이 방법은 어떠한 학습률 설정도 요구하지 않습니다. 기존 방법들과 달리, 우리는 학습률을 적응시키지 않으며 목적 함수의 가정된 곡률을 사용하지 않습니다. 대신, 최적화 과정을 동전 던지기 게임으로 축소하여 이 시나리오에 대한 학습률이 없는 최적 알고리즘을 제안합니다. 이론적으로는 볼록 함수와 준볼록 함수에 대해 수렴성이 증명되었으며, 경험적인 증거는 우리의 알고리즘이 인기 있는 확률적 경사하강 알고리즘들보다 우수함을 보여줍니다.