배치 정규화에서 감마의 정규화를 위한 지침: 깊은 잔차 네트워크에 적용하는 경우

신경망에서 가중치에 대한 L2 정규화는 표준 학습 기법으로 널리 사용되고 있다. 그러나 배치 정규화(Batch Normalization)의 학습 가능한 파라미터인 가마(gamma)에 대한 L2 정규화는 여전히 논의되지 않은 미스터리로 남아 있으며, 라이브러리나 연구자에 따라 다양한 방식으로 적용되고 있다. 본 논문에서는 가마에 대한 L2 정규화가 타당한지 여부를 탐구한다. 이를 위해 두 가지 접근 방식을 고려한다: 1) 잔차 네트워크(Residual Network)가 항등 사상(Identity Mapping)처럼 동작하도록 분산 제어를 수행하고, 2) 효과적 학습률의 개선을 통한 안정적인 최적화를 달성하는 것이다. 두 가지 분석을 통해 L2 정규화를 적용하기에 바람직한 가마와 바람직하지 않은 가마를 명확히 규명하고, 이를 관리하기 위한 네 가지 지침을 제안한다. 다양한 실험을 통해 네 가지 유형의 가마에 대해 L2 정규화를 적용했을 때 성능의 증가와 감소 현상을 관찰하였으며, 이는 제안한 네 가지 지침과 일치함을 확인하였다. 제안된 지침은 잔차 네트워크 및 트랜스포머의 변형을 포함한 다양한 작업과 아키텍처에서 검증되었으며, 그 유효성이 입증되었다.