SmoothNets: 微分プライバシー深層学習のためのCNNアーキテクチャ設計の最適化

深層ニューラルネットワークを差分プライバシー（Differential Privacy）で学習するために最も広く使用されているアルゴリズムの一つは、DPSGDです。このアルゴリズムでは、サンプルごとの勾配のクリッピングとノイジングが必要であり、非プライベートな学習に比べてモデルの有用性が低下します。経験的に、この精度の低下はモデルアーキテクチャに強く依存することが観察されています。私たちはこの現象を調査し、個々に良好な性能を示すコンポーネントを組み合わせることで、新しいモデルアーキテクチャであるSmoothNetを抽出しました。SmoothNetは、DP-SGD学習の課題に対する高い堅牢性が特徴です。実験的には、SmoothNetを2つのベンチマークデータセット上で標準的なアーキテクチャと比較しました。その結果、私たちのアーキテクチャが他のものよりも優れた性能を示し、CIFAR-10において$\varepsilon=7.0$で73.5%の精度、ImageNetteにおいて$\varepsilon=7.0$で69.2%の精度を達成しました。これは、プライバシー保護のために行われたこれまでのアーキテクチャ変更の中で最先端の結果です。