반복 배치 정규화

우리는 배치 정규화의 이점을 순환 신경망에 적용하기 위해 LSTM의 재매개변수화를 제안합니다. 기존 연구에서는 RNN의 입력-은닉 변환(input-to-hidden transformation)에만 배치 정규화를 적용하였으나, 우리는 은닉-은닉 변환(hidden-to-hidden transition)에도 배치 정규화를 적용하는 것이 가능하며 유익하다는 것을 보여줍니다. 이를 통해 시간 단계 간 내부 공변량 이동(internal covariate shift)을 줄일 수 있습니다. 우리는 시퀀스 분류, 언어 모델링, 질문 응답 등 다양한 순차적 문제에서 제안한 방법을 평가하였습니다. 경험적인 결과는 우리의 배치 정규화된 LSTM이 일관되게 더 빠른 수렴과 개선된 일반화 성능을 나타낸다는 것을 보여줍니다.