시간에 따른 역전파

시간에 따른 역전파 알고리즘은 순환 신경망(RNN)에 적용되는 역전파 알고리즘입니다.

BPTT는 RNN에 적용되는 표준 역전파 알고리즘으로 볼 수 있는데, 여기서 각 시간 단계는 계산 계층을 나타내고 해당 매개변수는 계산 계층 전체에서 공유됩니다.

RNN은 모든 시간 단계에서 동일한 매개변수를 공유하므로, 한 시간 단계에서 발생한 오류는 시간을 거쳐 모든 이전 시간 단계로 역전파되어야 합니다. 따라서 이 알고리즘의 이름이 유래되었습니다. 긴 시퀀스(수백 개의 입력)를 처리할 때 계산 비용을 줄이기 위해 BPTT의 단축 버전을 사용하는 경우가 많습니다. 잘린 BPTT는 고정된 단계 수 이후에 오류 역전파를 멈춥니다.