SmoothNets: 미분 프라이버시를 위한 CNN 아키텍처 설계 최적화

딥 뉴럴 네트워크를 차별 프라이버시(Differential Privacy)와 함께 훈련하는 가장 널리 사용되는 알고리즘 중 하나는 DPSGD입니다. 이 알고리즘은 샘플당 그래디언트의 클리핑과 노이징을 필요로 하며, 이는 비프라이버시 훈련에 비해 모델의 유틸리티가 감소하게 됩니다. 경험적으로, 이 정확도 저하가 모델 아키텍처에 크게 의존함을 관찰할 수 있습니다. 우리는 이러한 현상을 조사하였으며, 개별적으로 우수한 성능을 보이는 구성 요소들을 결합하여 새로운 모델 아키텍처인 SmoothNet을 도출하였습니다. SmoothNet은 DP-SGD 훈련의 어려움에 대한 강건성이 증가한 특성을 가지고 있습니다. 실험적으로, 우리는 두 벤치마크 데이터셋에서 SmoothNet을 표준 아키텍처들과 비교하여 평가하였으며, 우리의 아키텍처가 다른 것들보다 우수한 성능을 보임을 확인하였습니다. CIFAR-10 데이터셋에서 $\varepsilon=7.0$일 때 73.5%의 정확도를, ImageNette 데이터셋에서 $\varepsilon=7.0$일 때 69.2%의 정확도를 달성하였으며, 이는 기존의 DP를 위한 아키텍처 수정 결과와 비교해 선도적인 성과입니다.