일반적으로 네트워크가 정확성과 강건성을 동시에 갖는 것은 불가능하다고 여겨지며, 강건성을 높이려면 정확성이 반드시 희생된다고 보는 것이 보편적인 견해이다. 또한, 네트워크를 더 크게 만들지 않는 한, 네트워크 아키텍처 요소는 적대적 강건성 향상에 별다른 영향을 미치지 않는다는 인식이 널리 퍼져 있다. 그러나 본 연구는 적대적 훈련에 대한 철저한 분석을 통해 이러한 일반적인 믿음을 도전하는 증거를 제시한다. 본 연구의 핵심 관찰은, 비연속적인 특성으로 인해 적대적 훈련의 성능을 크게 약화시키는 널리 사용되는 ReLU 활성화 함수가 존재한다는 점이다. 이를 해결하기 위해 우리는 부드러운 적대적 훈련(Smooth Adversarial Training, SAT)을 제안하며, ReLU를 그 부드러운 근사 함수로 대체함으로써 적대적 훈련의 강도를 높이고자 한다. SAT에서 부드러운 활성화 함수의 목적은 적대적 예제를 더 어려운 형태로 탐색하고, 적대적 훈련 과정에서 보다 정교한 기울기 업데이트를 가능하게 하는 것이다.기존의 적대적 훈련과 비교해 SAT는 정확도 저하 없이도, 계산 비용 증가 없이도 적대적 강건성을 향상시킬 수 있다. 즉, '무료로' 강건성을 높일 수 있다. 예를 들어, 추가적인 계산 부담 없이 SAT는 ResNet-50의 강건성을 33.0%에서 42.3%로 크게 향상시키며, 동시에 ImageNet에서 정확도도 0.9% 향상시켰다. 또한 더 큰 네트워크에서도 효과적으로 작동한다. EfficientNet-L1에 적용했을 때, ImageNet에서 82.2%의 정확도와 58.6%의 강건성을 달성하여, 이전 최고 성능 방어 기법보다 정확도 9.5%와 강건성 11.6% 우수한 성능을 보였다. 관련 모델은 https://github.com/cihangxie/SmoothAdversarialTraining 에서 공개되어 있다.