2달 전
DNNs의 메모리 최적화 학습을 위한 In-Place 활성화 배치 정규화
Samuel Rota Bulò; Lorenzo Porzi; Peter Kontschieder

초록
본 연구에서는 현대 딥 뉴럴 네트워크의 훈련 메모리 사용량을 효율적으로 크게 줄이는 새로운 접근 방식인 In-Place 활성화 배치 정규화(InPlace-ABN)를 제시합니다. 우리의 해결책은 기존에 사용되던 배치 정규화(BatchNorm) + 활성화(Activation) 계층의 연속을 단일 플러그인 계층으로 대체하여, 침습적인 프레임워크 수정 없이도 기존 딥 러닝 프레임워크에 쉽게 적용할 수 있도록 합니다. 우리는 중간 결과를 버림으로써 최대 50%의 메모리 절약을 달성하였으며, 저장된 전방향 결과의 역전환을 통해 후방향 과정에서 필요한 정보를 복구함으로써 계산 시간은 약 0.8-2%만 증가하였습니다. 또한, 자주 사용되는 체크포인팅(checkpointing) 방법들이 InPlace-ABN만큼 효율적으로 만들어질 수 있는 방법을 시연합니다. 이미지 분류 실험에서는 ImageNet-1k 데이터셋에서 최신 접근 방식들과 동등한 결과를 보여주었으며, 메모리를 많이 요구하는 의미 분할 작업에서는 COCO-Stuff, Cityscapes 및 Mapillary Vistas 데이터셋에 대한 결과를 보고합니다. 추가적인 훈련 데이터 없이 단일 스케일 및 모델 시나리오에서 Mapillary Vistas 데이터셋에서 새로운 최상의 성능(state-of-the-art) 결과를 얻었습니다. 코드는 https://github.com/mapillary/inplace_abn 에서 확인할 수 있습니다.