초록
허 등이 설계한 영향력 있는 잔차 네트워크(Residual Networks)는 여전히 수많은 과학적 논문에서 표준 아키텍처로 여겨지고 있다. 이들은 일반적으로 연구에서 기본 아키텍처로 사용되거나, 새로운 아키텍처가 제안될 때 기준 모델(baseline)로 활용된다. 그러나 2015년 ResNet 아키텍처가 등장한 이후 신경망 학습에 대한 최적의 실천 방법론( best practices)에 큰 진전이 있었다. 새로운 최적화 기법과 데이터 증강(data-augmentation) 기술들이 학습 레시피의 효율성을 크게 향상시켰다. 본 논문에서는 이러한 최신 기법들을 통합한 학습 절차를 사용하여 기존의 순수한(바이너리) ResNet-50의 성능을 재평가한다. 우리는 이러한 효과적인 학습 설정과 사전 학습된 모델을 timm 오픈소스 라이브러리에 공개하며, 향후 연구에 더 나은 기준 모델이 되기를 기대한다. 예를 들어, 보다 엄격한 학습 설정을 적용했을 때, 순수한 ResNet-50은 추가 데이터나 정교화(distillation) 없이 ImageNet-val에서 해상도 224x224에서 top-1 정확도 80.4%를 달성한다. 또한 본 연구에서 제시한 학습 절차를 사용했을 때 주요 모델들이 달성한 성능도 보고한다.