スケールを活用した高精度差分プライベート画像分類の解錠

差分プライバシー（Differential Privacy: DP）は、機械学習モデルにアクセスできる攻撃者が個々の訓練データから情報を抽出することを防ぐ正式なプライバシー保証を提供します。深層学習における最も一般的なDP訓練手法である差分プライベースト確率的勾配降下法（Differentially Private Stochastic Gradient Descent: DP-SGD）は、訓練中にノイズを注入することでこの保護を実現します。しかし、過去の研究では、DP-SGDが標準的な画像分類ベンチマークにおいて性能が大幅に低下することがしばしば報告されてきました。さらに、一部の研究者は、プライバシーを維持するために必要なノイズのノルムがモデルの次元数に比例するため、DP-SGDが大規模なモデルで本質的に性能が悪いと主張しています。対照的に、我々は過剰パラメータ化されたモデルでのDP-SGDの性能が以前の予想よりも著しく高いことを示しました。ハイパーパラメータの慎重な調整と信号伝播を確保し収束速度を向上させる単純な技術を組み合わせることで、CIFAR-10において追加データなしで(8, 10^{-5})-DP条件のもと81.4%という新たな最先端（State-of-the-Art: SOTA）精度を達成しました。これは、以前のSOTAである71.7%から大幅に改善しています。また、事前学習済みのNFNet-F3を微調整することで、ImageNetにおいて(0.5, 8 \cdot 10^{-7})-DP条件のもと83.8%というトップ-1精度を達成しました。さらに、(8, 8 \cdot 10^{-7})-DP条件のもと86.7%というトップ-1精度も達成しており、このタスクにおける現在の非プライベートSOTAとの差はわずか4.3%です。我々はこれらの結果が、プライベートと非プライベート画像分類間の精度ギャップを縮める上で重要な一歩になると信じています。