샌드위치 배치 정규화: 특성 분포 비균일성에 대한 드롭인 대체 기법

우리는 배치 정규화(Batch Normalization, BN)의 매우 간단한 개선 방안인 샌드위치 배치 정규화(Sandwich Batch Normalization, SaBN) 를 제안한다. SaBN은 단 몇 줄의 코드 수정만으로도 구현 가능하며, 기존 BN의 한계를 극복하는 데 초점을 맞추고 있다. 이 방법은 다양한 작업에서 나타나는 본질적인 특징 분포의 이질성 문제를 해결하고자 하는 데서 영감을 받았다. 이러한 이질성은 데이터 이질성(다수의 입력 도메인) 또는 모델 이질성(동적 아키텍처, 모델 조건화 등)으로 인해 발생할 수 있다. SaBN은 BN의 아핀 계층을 하나의 공유된 샌드위치 아핀 계층과, 병렬로 연결된 여러 독립적인 아핀 계층으로 분해함으로써 이러한 문제를 해결한다. 구체적인 분석을 통해, 최적화 과정에서 SaBN이 균형 잡힌 기울기 노름을 촉진하면서도 다양한 기울기 방향을 유지한다는 점을 밝혀냈다. 이는 많은 응용 작업에서 선호되는 중요한 성질이다. 우리는 SaBN이 네 가지 주요 작업에서 즉시 효과적인 드롭인 대체 기법임을 실험적으로 입증하였다: 조건부 이미지 생성, 신경망 아키텍처 탐색(Neural Architecture Search, NAS), 적대적 학습, 그리고 임의의 스타일 전이. SaBN을 적용함으로써, 세 가지 최첨단 GAN 모델을 사용하여 CIFAR-10 및 ImageNet 조건부 이미지 생성에서 더 높은 Inception Score와 FID 점수를 달성하였으며, NAS-Bench-201에서 최첨단 가중치 공유 NAS 알고리즘의 성능을 크게 향상시켰다. 또한 적대적 방어에 있어 표준 정확도와 강건성 정확도 모두를 크게 개선하였고, 임의의 스타일 전이 결과에서도 우수한 품질을 보였다. 본 연구에서는 SaBN이 작동하는 이유를 이해하기 위해 시각화 및 분석 결과도 제공한다. 코드는 아래 링크에서 확인할 수 있다: https://github.com/VITA-Group/Sandwich-Batch-Normalization.