확률적 로컬 우승자-모두의 네트워크가 심층적 적대적 강건성 가능하게 함

본 연구는 강력한(기울기 기반) 화이트박스 및 블랙박스 적대적 공격에 대해 확률적 경쟁 기반 활성화 함수, 즉 확률적 국소 우승자-모두(Stochastic Local Winner-Takes-All, LWTA)의 효과성을 탐구한다. 특히 적대적 훈련(Adversarial Training) 환경에 초점을 맞추고 있다. 본 연구에서는 기존의 ReLU 기반 비선형성 대신, 국소적으로 확률적으로 경쟁하는 선형 유닛 블록을 도입한다. 각 신경망 계층의 출력은 이제 각 블록 내에서 우승자 샘플링 결과에 따라 희소한 출력을 생성하게 된다. 학습 및 추론 과정에서는 변분 베이지안(Variational Bayesian) 프레임워크를 활용하며, 전통적인 PGD 기반 적대적 훈련 기법을 통합함으로써 전체적인 적대적 강건성(robustness)을 향상시킨다. 실험 결과에 따르면, 이러한 구조를 가진 신경망은 강력한 적대적 공격에 대해 최신 기술 수준의 강건성을 보이며, 정상적인 경우에도 매우 높은 분류 정확도를 유지함을 확인할 수 있다.