ImageNet 규모에서 차별적 프라이버시를 적용한 학습 방향성 연구

차별 프라이버시(DP)는 개개의 훈련 샘플의 프라이버시를 보장하면서 머신 러닝(ML) 모델, 특히 신경망을 훈련시키는 사실상의 표준입니다. 차별 프라이버시로 ML 모델을 훈련시키는 방법에 대한 방대한 문헌이 존재하지만, 실제에서 큰 규모의 신경망을 합리적인 정확도와 프라이버시를 유지하면서 훈련시키는 것은 여전히 매우 어려운 문제입니다.우리는 이 문제를 해결하기 위해 ImageNet 이미지 분류를 사용하여 연구를 시작했습니다. ImageNet 모델은 현재 차별 프라이버시를 사용하여 정확하게 해결하기 매우 어려운 ML 작업의 대표적인 예입니다. 본 논문에서는 우리의 노력으로 얻은 초기 교훈들을 공유하며, 이를 통해 다른 연구자들이 대규모 DP 훈련을 탐구하는 데 영감과 정보가 되기를 바랍니다. 우리는 DP 훈련을 더 빠르게 만드는 접근법뿐만 아니라, DP 환경에서 더 잘 작동하는 모델 유형과 훈련 과정의 설정에 대해 설명합니다. 이러한 방법들을 조합하여, 우리는 Resnet-18을 $\epsilon = 10, \delta = 10^{-6}$의 프라이버시 매개변수로 47.9%의 정확도로 DP 훈련할 수 있었습니다. 이는 "순진한" ImageNet 모델의 DP 훈련 결과보다 크게 개선되었지만, 프라이버시 없이 동일한 네트워크로 얻을 수 있는 75%의 정확도와는 큰 차이가 있습니다. 우리가 사용한 모델은 Places365 데이터셋에서 사전 훈련된 것을 기반으로 하였습니다. 우리는 코드를 https://github.com/google-research/dp-imagenet 에 공유하며, 다른 연구자들이 이 새로운 기준 위에서 더 나은 대규모 DP를 개발하도록 촉구합니다.