TAN Without a Burn: DP-SGD のスケーリング則

深層ニューラルネットワーク（DNN）の訓練における差分プライバシー手法は、最近特に大規模なバッチと多数の訓練ステップでの集約データ拡張を使用することで進歩しました。これらの技術は非プライベートな対応物よりもはるかに多くの計算リソースを必要とし、従来のプライバシー-精度トレードオフがプライバシー-精度-計算量トレードオフに変化し、現実的なシナリオではハイパーパラメータ探索が事実上不可能となっています。本研究では、ノイジーな訓練のプライバシー分析と実験的挙動を分離して、最小限の計算要件でこのトレードオフを探求します。まず、Rényi差分プライバシー（RDP）のツールを使用して、過剰に充電されない場合、プライバシーバジェットは訓練中に注入される総ノイズ量（Total Amount of Noise: TAN）のみに依存することを強調します。次に、DP-SGDを使用したモデル訓練のスケーリング則を導出し、計算予算を100倍以上削減しながらハイパーパラメータを最適化します。提案手法をCIFAR-10とImageNetに適用し、特にImageNetにおいてトップ1精度で+9ポイント向上させることで最先端の結果を大幅に改善しました。隐私预算 ε=8 の条件下で達成されました。注：「隐私预算 ε=8 の条件下で達成されました」は「for a privacy budget epsilon=8」という部分に対応しています。ただし、「ε=8」は一般的な表記であり、「epsilon=8」も使用可能です。