확률적 경사 하강법이는 경사 하강법의 단점을 해결하는 데 사용될 수 있는 경사 하강 알고리즘의 솔루션 아이디어입니다. 확률적 경사 하강법에서는 각 반복에서 매개변수를 업데이트하는 데 단 하나의 교육 데이터만 사용할 수 있습니다.

확률적 경사 하강 기능

• 장점: 빠른 훈련 속도
• 단점: 정확도가 낮음, 전역적으로 최적화되지 않음, 병렬로 구현하기 어려움

확률적 경사 하강법은 모든 학습 샘플의 손실 함수를 최소화하여 최종 솔루션이 전역 최적 솔루션이 되도록 합니다. 즉, 솔루션 매개변수가 위험 함수를 최소화합니다. 그러면 각 샘플의 손실 함수가 최소화됩니다. 각 반복에서 얻은 손실 함수는 전역 최적 해의 방향이 아니지만, 전체적인 방향은 전역 최적 해이며 최종 결과는 종종 전역 최적 해에 가깝습니다.

상위 용어: 경사 하강

관련 용어: 배치 경사 하강, 미니 배치 경사 하강