TAN Without a Burn: DP-SGD의 스케일링 법칙

최근 딥 뉴럴 네트워크(DNN)의 차등 사생활 보호(differential privacy) 훈련 방법이 크게 발전하였습니다. 특히 대규모 배치(massive batches)와 집계된 데이터 증강(aggregated data augmentations)을 사용하여 많은 훈련 단계에서 성능을 개선하였습니다. 이러한 기술들은 비공개(non-private) 대응물보다 훨씬 더 많은 컴퓨팅 자원을 필요로 하며, 전통적인 사생활 보호-정확도(privacy-accuracy) 교환 관계를 사생활 보호-정확도- 컴퓨팅(privacy-accuracy-compute) 교환 관계로 변화시키고 있으며, 실제 시나리오에서는 하이퍼파라미터 탐색(hyper-parameter search)이 사실상 불가능하게 만들고 있습니다.본 연구에서는 최소한의 컴퓨팅 요구사항으로 이러한 교환 관계를 탐구하기 위해 노이즈 훈련(noisy training)의 사생활 보호 분석과 실험적 동작을 분리하였습니다. 먼저 R\'enyi 차등 사생활 보호(RDP, R\'enyi Differential Privacy)의 도구를 사용하여, 과부하가 되지 않는 한 사생활 예산(privacy budget)은 전체적으로 주입된 노이즈(TAN, Total Amount of Noise)의 양에만 의존함을 강조하였습니다. 그런 다음 DP-SGD(DP-Stochastic Gradient Descent)를 사용하여 모델을 훈련시키는 확장 법칙(scaling laws)을 유도하여 컴퓨팅 예산(computational budget)을 100배 이상 줄여 하이퍼파라미터를 최적화하였습니다.우리는 제안된 방법을 CIFAR-10과 ImageNet에 적용하였으며, 특히 ImageNet에서 사생활 예산(epsilon=8)에서 Top-1 정확도가 +9 포인트 상승하여 기존 최신 연구(state-of-the-art)를 크게 개선했습니다.