적응형 모멘트 추정 Adam

Adam은 적응적 모멘트 추정(Adaptive Moment Estimation)의 약자로, 1차 기울기 최적화 알고리즘으로, 특히 대규모 데이터와 매개변수 최적화 문제를 처리하는 데 적합합니다. 이는 Diederik P. Kingma와 Jimmy Ba가 2014년에 제안했으며 2015년 ICLR 컨퍼런스 논문 "에 게재되었습니다.Adam: 확률적 최적화를 위한 방법".

아담 알고리즘은 저차 모멘트의 적응적 추정을 기반으로 하는 확률적 목적 함수에 대한 1차 기울기 기반 최적화 알고리즘입니다. 이 방법은 구현하기 쉽고, 계산 효율이 높으며, 메모리가 거의 필요하지 않고, 기울기의 대각선 크기 조정에 영향을 받지 않으므로 대량의 데이터 및/또는 매개변수가 있는 문제에 매우 적합합니다. 이 방법은 정적이지 않은 객체와 매우 노이즈가 많고/또는 희소한 그래디언트가 있는 문제에도 적용할 수 있습니다. 하이퍼파라미터는 직관적으로 해석할 수 있으며 일반적으로 많은 조정이 필요하지 않습니다.