面向ImageNet规模的差分隐私训练

差分隐私（Differential Privacy, DP）是训练机器学习（Machine Learning, ML）模型，包括神经网络时保护训练集中单个样本隐私的事实标准。尽管关于如何在差分隐私条件下训练机器学习模型的研究文献非常丰富，但要在保证合理准确性和隐私的前提下训练实际生活中的大型神经网络仍然极具挑战性。我们着手研究如何实现这一目标，以ImageNet图像分类为例，这是一个目前在差分隐私条件下难以准确解决的机器学习任务。本文分享了我们在这一努力中获得的初步经验教训，希望这些经验能够激发并指导其他研究人员探索大规模的差分隐私训练。我们展示了有助于加快差分隐私训练的方法，以及在差分隐私设置下表现更好的模型类型和训练过程配置。综合运用这些方法，我们能够在差分隐私条件下将ResNet-18模型训练至47.9%的准确率，同时保持隐私参数$\epsilon = 10, \delta = 10^{-6}$。这比“简单”的ImageNet模型差分隐私训练有了显著改进，但仍远低于相同网络在不考虑隐私情况下可达到的75%准确率。我们使用的模型是在Places365数据集上预训练得到的。我们的代码已发布在 https://github.com/google-research/dp-imagenet，呼吁其他研究人员在此新基准基础上进一步改进大规模差分隐私训练。