通过规模实现高精度差分隐私图像分类

差分隐私（Differential Privacy, DP）提供了一种正式的隐私保护保证，防止拥有访问机器学习模型权限的对手提取关于单个训练样本的信息。差分隐私随机梯度下降（Differentially Private Stochastic Gradient Descent, DP-SGD）是深度学习中最流行的差分隐私训练方法，通过在训练过程中注入噪声来实现这种保护。然而，先前的研究发现，DP-SGD通常会导致在标准图像分类基准上的性能显著下降。此外，一些研究者认为，由于所需的噪声范数与模型维度成正比，DP-SGD在大型模型上表现不佳是固有的问题。相比之下，我们展示了在过参数化模型上应用DP-SGD可以显著优于以往的认知。结合精心的超参数调优和简单的技术以确保信号传播并提高收敛速度，我们在CIFAR-10数据集上实现了81.4%的准确率，在(8, 10^{-5})-DP条件下达到了新的最佳水平（State-of-the-Art, SOTA），超过了此前的最佳记录71.7%。当微调预训练的NFNet-F3时，我们在ImageNet数据集上实现了(0.5, 8 \cdot 10^{-7})-DP条件下的83.8% top-1准确率。此外，我们还在(8, 8 \cdot 10^{-7})-DP条件下实现了86.7%的top-1准确率，仅比当前该任务的非私有SOTA低4.3%。我们认为这些结果是朝着缩小私有和非私有图像分类之间准确率差距的重要一步。