누적 오류 역전파

누적된 오차의 역전파이 알고리즘은 신경망 알고리즘이며 오류 역전파 알고리즘의 변형입니다. 이는 누적 오차를 최소화하는 업데이트 규칙을 기반으로 하며 대상의 음의 기울기 방향으로 매개변수를 조정합니다. 목표는 훈련 오류를 최소화하는 것입니다. 이를 "역전파 알고리즘"이라고도 합니다. 이 알고리즘을 사용하여 학습된 다층 피드포워드 신경망을 "역전파 네트워크"라고 합니다.

오류 역전파 오류 역전파 알고리즘(BP)

오류 역전파 알고리즘은 전방 신경망을 사용하여 학습 오류를 계산한 다음, 학습 오류를 사용하여 은닉층 뉴런에 역으로 작용하여 각 뉴런의 연결 가중치와 임계값을 조정하고 지속적인 업데이트를 통해 학습 오류를 최소화합니다.

현재 대부분의 신경망 학습은 BP 알고리즘을 기반으로 하며, 이는 다층 피드포워드 신경망뿐만 아니라 재귀 신경망 학습 등에도 활용될 수 있습니다. 그러나 일반적으로 "BP 네트워크"는 BP 알고리즘으로 학습된 다층 피드포워드 신경망을 의미합니다.

구현

각 교육 예제에 대해 알고리즘은 다음과 같은 작업을 수행합니다.

• 먼저, 입력 예제가 입력층 뉴런에 제공된 다음, 신호는 출력층에서 결과가 생성될 때까지 층층이 전달됩니다.
• 그런 다음 출력 계층의 오차가 계산된 후 은닉 계층 뉴런으로 역전파됩니다.
• 마지막으로, 연결 가중치와 임계값은 은닉층 뉴런의 오류에 따라 조정됩니다.

이러한 반복적인 과정은 특정 중지 조건에 도달할 때까지 계속됩니다.

피드포워드 신경망(FP)

피드포워드 신경망은 여러 로지스틱 회귀의 조합으로 볼 수 있지만, 결과는 은닉층 뉴런을 통해 직접 얻을 수 있습니다. 비용 함수는 로지스틱 함수와 비슷하지만, 다양한 범주에 대한 합계를 구해야 합니다.