누적 오류 역전파

누적 오류 역전파 알고리즘은 누적 오류를 최소화하는 업데이트 규칙에 기반한 오류 역전파 알고리즘의 변형입니다.

오류 역전파 오류 역전파 알고리즘(BP)

오류 역전파 알고리즘은 전방 신경망을 사용하여 학습 오류를 계산한 다음, 학습 오류를 사용하여 은닉층 뉴런에 역으로 작용하여 각 뉴런의 연결 가중치와 임계값을 조정하고 지속적인 업데이트를 통해 학습 오류를 최소화합니다.

현재 대부분의 신경망 학습은 BP 알고리즘을 기반으로 하며, 이는 다층 피드포워드 신경망뿐만 아니라 재귀 신경망 학습 등에도 활용될 수 있습니다. 그러나 일반적으로 "BP 네트워크"는 BP 알고리즘으로 학습된 다층 피드포워드 신경망을 의미합니다.

BP 알고리즘 워크플로

1. 입력 예제는 입력 뉴런에 제공되며, 이 뉴런은 출력 계층에서 결과가 나올 때까지 계층별로 신호를 전송합니다.
2. 출력 계층 오류를 계산한 다음 역 오류를 숨겨진 계층 뉴런으로 전파합니다.
3. 은닉층 뉴런의 오류에 따라 연결 가중치와 임계값을 조정합니다.

피드포워드 신경망(FP)

피드포워드 신경망은 여러 로지스틱 회귀의 조합으로 볼 수 있지만, 결과는 은닉층 뉴런을 통해 직접 얻을 수 있습니다. 비용 함수는 로지스틱 함수와 비슷하지만, 다양한 범주에 대한 합계를 구해야 합니다.