규모를 통한 고정밀 차등 프라이버시 이미지 분류 해제

차별 프라이버시(Differential Privacy, DP)는 기계 학습 모델에 접근할 수 있는 적대자가 개별 훈련 데이터에 대한 정보를 추출하는 것을 방지하는 형식적인 프라이버시 보장 방법을 제공합니다. 딥러닝에서 가장 인기 있는 DP 훈련 방법인 차별적으로 사적 확률적 경사 하강법(Differentially Private Stochastic Gradient Descent, DP-SGD)은 훈련 중 잡음 주입을 통해 이러한 보호를 실현합니다. 그러나 이전 연구에서는 DP-SGD가 표준 이미지 분류 벤치마크에서 성능이 크게 저하되는 것으로 발견되었습니다. 또한 일부 연구자들은 프라이버시를 유지하기 위해 필요한 잡음의 규범(norm)이 모델 차원과 비례하기 때문에, DP-SGD가 큰 모델에서 본질적으로 성능이 좋지 않다고 주장했습니다.반면에, 우리는 과매개변수화된(over-parameterized) 모델에서 DP-SGD의 성능이 이전보다 크게 향상될 수 있음을 입증하였습니다. 신중한 하이퍼파라미터 조정과 신호 전달(signal propagation)을 보장하고 수렴 속도를 개선하기 위한 간단한 기술들을 결합하여, CIFAR-10 데이터셋에서 (8, 10^{-5})-DP 조건 하에 40층 Wide-ResNet을 사용하여 81.4%의 새로운 최고 성능(SOTA)을 달성하였습니다. 이는 이전 SOTA인 71.7%보다 크게 개선된 결과입니다. 또한 사전 훈련된 NFNet-F3를 미세 조정(fine-tuning)할 때, (0.5, 8 \cdot 10^{-7})-DP 조건 하에서 ImageNet 데이터셋에서 놀라운 83.8%의 Top-1 정확도를 달성하였습니다. 더 나아가 (8, 8 \cdot 10^{-7})-DP 조건 하에서는 86.7%의 Top-1 정확도를 달성하였으며, 이는 해당 작업의 현재 비사적인(non-private) SOTA와 비교해 단 4.3% 밖에 차이나지 않습니다.우리는 이러한 결과가 사적(private) 이미지 분류와 비사적(non-private) 이미지 분류 사이의 정확도 격차를 줄이는 데 있어 중요한 진전이라고 믿습니다.