SmoothNets: Optimierung der CNN-Architektur für differenziell-private Tiefenlernverfahren

Der am häufigsten eingesetzte Algorithmus zur Schulung von tiefen neuronalen Netzen mit Differential Privacy ist DPSGD (Differentially Private Stochastic Gradient Descent), der das Abschneiden und Verstören der pro-Stichprobe-Gradienten erfordert. Dies führt zu einer Verringerung der Modellnutzung im Vergleich zum nicht-privaten Training. Empirisch lässt sich beobachten, dass diese Genauigkeitsdeteriorierung stark von der Modellarchitektur abhängt. Wir haben dieses Phänomen untersucht und durch die Kombination von Komponenten, die gute individuelle Leistungen aufweisen, eine neue Modellarchitektur namens SmoothNet entwickelt, die sich durch erhöhte Robustheit gegenüber den Herausforderungen des DP-SGD-Trainings auszeichnet. Experimentell vergleichen wir SmoothNet mit Standardarchitekturen auf zwei Benchmark-Datensätzen und stellen fest, dass unsere Architektur anderen überlegen ist, wobei sie bei $\varepsilon=7{,}0$ eine Genauigkeit von 73{,}5\% auf CIFAR-10 und bei $\varepsilon=7{,}0$ eine Genauigkeit von 69{,}2\% auf ImageNette erreicht – ein Stand-des-Wissens-Ergebnis im Vergleich zu früheren architekturbezogenen Anpassungen für DP (Differential Privacy).