초록
배치 정규화(Batch Normalization, BN)는 현대의 깊은 신경망을 훈련하는 데 표준 기술로 자리 잡았다. 그러나 배치 크기가 작아질수록 배치 통계 추정의 정확도가 떨어지기 때문에 그 효과가 감소한다. 이는 다음과 같은 상황에서 배치 정규화의 활용을 제한한다. 1) 메모리 사용량 제약으로 인해 작은 배치 크기를 사용해야 하는 더 큰 모델을 훈련할 때, 2) 메모리 자원이 제한된 모바일 또는 임베디드 장치에서 훈련할 때이다. 본 논문에서는 간단하면서도 효과적인 방법인 확장 배치 정규화(Extended Batch Normalization, EBN)를 제안한다. NCHW 형식의 특징 맵에 대해, EBN은 배치 정규화와 동일하게 (N, H, W) 차원을 따라 평균을 계산하여 배치 정규화의 장점을 유지한다. 소규모 배치 크기로 인한 문제를 완화하기 위해, EBN은 표준 편차를 (N, C, H, W) 차원을 따라 계산함으로써 표준 편차 산출에 사용되는 샘플 수를 증가시킨다. 우리는 MNIST, CIFAR-10/100, STL-10, ImageNet 데이터셋을 대상으로 확장 배치 정규화를 배치 정규화 및 그룹 정규화(Group Normalization)와 비교하였다. 실험 결과, 확장 배치 정규화는 소규모 배치 크기에서 배치 정규화의 성능 저하 문제를 완화하면서도, 큰 배치 크기에서 배치 정규화와 유사한 성능을 달성함을 보였다.