스위치 가능한 화이트닝을 이용한 깊은 표현 학습

정규화 방법은 합성곱 신경망(CNNs)의 필수적인 구성 요소입니다. 이러한 방법들은 사전 정의된 픽셀 집합에서 추정된 통계를 사용하여 데이터를 표준화하거나 백색화합니다. 기존 연구들이 특정 작업을 위해 정규화 기법을 설계하는 것과 달리, 우리는 다양한 백색화 방법과 표준화 방법을 통합하는 일반적인 형태를 제공하는 스위치 가능한 백색화(SW, Switchable Whitening)를 제안합니다. SW는 이들 연산 사이에서 단말 대 단말(end-to-end) 방식으로 전환을 학습합니다. SW는 여러 장점이 있습니다. 첫째, SW는 다른 작업에 적합한 적응적인 백색화 또는 표준화 통계를 선택(그림 1 참조)하여 수동 설계 없이 다양한 작업에 잘 맞습니다. 둘째, 다양한 정규화기의 장점을 결합함으로써 SW는 여러 어려운 벤치마크에서 동종의 기법보다 일관되게 우수한 성능을 보여줍니다. 셋째, SW는 백색화와 표준화 기법의 특성을 이해하는 데 유용한 도구로 작용합니다. 우리는 이미지 분류(CIFAR-10/100, ImageNet), 의미론적 세분화(ADE20K, Cityscapes), 영역 적응(GTA5, Cityscapes), 이미지 스타일 변환(COCO) 등 다양한 작업에서 SW가 다른 대안보다 우수하다는 것을 보여주었습니다. 예를 들어, 별도의 추가적인 최적화 없이 ADE20K 데이터셋에서 45.33%의 mIoU(mean Intersection over Union) 성능을 달성하였습니다. 코드는 https://github.com/XingangPan/Switchable-Whitening 에서 확인할 수 있습니다.