초록
최근 들어 깊은 신경망의 학습을 안정화하기 위해 다양한 정규화 레이어가 제안되어 왔다. 그 중 그룹 정규화(Group Normalization)는 레이어 정규화(Layer Normalization)와 인스턴스 정규화(Instance Normalization)를 일반화한 것으로, 사용하는 그룹 수에 대해 일정한 자유도를 허용한다. 그러나 최적의 그룹 수를 결정하기 위해 실험적 접근을 통한 하이퍼파라미터 튜닝이 필요하며, 이러한 실험은 시간이 많이 소요된다. 본 연구에서는 그룹 수를 설정하는 합리적인 방법을 논의한다. 먼저, 그룹 수가 그룹 정규화 레이어의 그래디언트 행동에 영향을 미친다는 점을 발견하였다. 이 관찰을 바탕으로, 그래디언트 스케일을 보정하여 그래디언트 하강 최적화를 촉진하는 이상적인 그룹 수를 도출하였다. 제안하는 그룹 수는 이론적으로 근거가 있으며, 아키텍처에 대한 인지 능력을 갖추고 있으며, 모든 레이어에 대해 계층적으로 적절한 값을 제공할 수 있다. 제안한 방법은 다양한 신경망 아키텍처, 작업 및 데이터셋에서 기존 방법보다 향상된 성능을 보였다.