배치 정규화가 적용된 잔차 네트워크에 드롭아웃을 올바르게 사용하는 방법

심층 신경망의 안정적인 최적화를 위해 드롭아웃과 배치 정규화(batch normalization)와 같은 정규화 기법이 다양한 작업에 활용되어 왔다. 그러나 드롭아웃을 적용할 적절한 위치에 대한 논의는 거의 이루어지지 않았으며, 연구자들에 따라 서로 다른 위치에 드롭아웃을 적용하는 경우가 많았다. 본 연구에서는 드롭아웃을 적용할 올바른 위치를 탐구한다. 우리는 배치 정규화를 갖춘 리지드 네트워크(residual network)에서 특정 위치에 드롭아웃을 적용할 경우 성능이 향상되지만, 다른 위치에 적용할 경우 성능이 저하됨을 입증한다. 이에 기반하여 이론적 분석을 바탕으로 드롭아웃 적용을 위한 다음과 같은 지침을 제시한다: 리지드 브랜치의 마지막 배치 정규화 이후, 마지막 가중치 레이어 이전에 하나의 드롭아웃을 적용하라. 본 주장에 대한 상세한 이론적 근거를 제시하고, 모듈 단위 실험을 통해 이를 검증한다. 또한 최종 예측을 생성하는 헤드(head)에서 드롭아웃의 적절한 위치를 조사한다. 현재까지의 일반적인 관점은 전역 평균 풀링(global average pooling) 이후에 드롭아웃을 적용하는 것이지만, 본 연구에서는 전역 평균 풀링 전에 드롭아웃을 적용하는 것이 더 안정적인 출력을 제공함을 증명한다. 제안된 지침은 다양한 데이터셋과 모델을 활용한 실험을 통해 검증되었다.