HyperAIHyperAI

Command Palette

Search for a command to run...

TAN Without a Burn: DP-SGD のスケーリング則

Sander Tom ; Stock Pierre ; Sablayrolles Alexandre

概要

深層ニューラルネットワーク(DNN)の訓練における差分プライバシー手法は、最近特に大規模なバッチと多数の訓練ステップでの集約データ拡張を使用することで進歩しました。これらの技術は非プライベートな対応物よりもはるかに多くの計算リソースを必要とし、従来のプライバシー-精度トレードオフがプライバシー-精度-計算量トレードオフに変化し、現実的なシナリオではハイパーパラメータ探索が事実上不可能となっています。本研究では、ノイジーな訓練のプライバシー分析と実験的挙動を分離して、最小限の計算要件でこのトレードオフを探求します。まず、Rényi差分プライバシー(RDP)のツールを使用して、過剰に充電されない場合、プライバシーバジェットは訓練中に注入される総ノイズ量(Total Amount of Noise: TAN)のみに依存することを強調します。次に、DP-SGDを使用したモデル訓練のスケーリング則を導出し、計算予算を100倍以上削減しながらハイパーパラメータを最適化します。提案手法をCIFAR-10とImageNetに適用し、特にImageNetにおいてトップ1精度で+9ポイント向上させることで最先端の結果を大幅に改善しました。隐私预算 ε=8 の条件下で達成されました。注:「隐私预算 ε=8 の条件下で達成されました」は「for a privacy budget epsilon=8」という部分に対応しています。ただし、「ε=8」は一般的な表記であり、「epsilon=8」も使用可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
TAN Without a Burn: DP-SGD のスケーリング則 | 記事 | HyperAI超神経