배치 정규화(Batch Normalization, BN)는 미니 배치 내에서 표준화를 수행하여 신경망 학습을 가속화하고 일반화 능력을 향상시키기 위해 널리 사용됩니다. 상관관계 제거 배치 정규화(Decorrelated Batch Normalization, DBN)는 화이트닝(whitening)을 통해 이러한 효과를 더욱 강화합니다. 그러나 DBN은 큰 배치 크기에 크게 의존하거나 GPU에서 효율성이 떨어지는 고유값 분해(eigen-decomposition)에 의존합니다. 우리는 이 문제를 해결하기 위해 뉴턴의 반복법(Newton's iterations)을 사용하여 훨씬 효율적인 화이트닝을 수행하면서 동시에 고유값 분해를 피하는 반복 정규화(Iterative Normalization, IterNorm)를 제안합니다. 또한, 이론적 및 실험적 지원을 바탕으로 IterNorm이 최적화와 일반화 사이에서 더 나은 균형을 이루는 종합적인 연구를 개발하였습니다.이 연구에서는 Stochastic Normalization Disturbance(SND)라는 개념을 독점적으로 소개하는데, 이는 정규화 연산에 적용될 때 샘플의 본질적인 확률적 불확실성을 측정합니다. SND의 지원 하에, 우리는 최적화 관점에서 여러 현상을 자연스럽게 설명할 수 있습니다. 예를 들어, DBN의 그룹별 화이트닝(group-wise whitening)이 전체 화이트닝(full-whitening)보다 일반적으로 우수한 이유와 BN의 정확도가 배치 크기가 줄어들면서 저하되는 이유 등을 설명할 수 있습니다. 우리는 CIFAR-10과 ImageNet 데이터셋에서 수행한 광범위한 실험들을 통해 BN과 DBN에 비해 IterNorm의 성능이 일관되게 향상됨을 보여주었습니다.