HyperAIHyperAI

Command Palette

Search for a command to run...

SmoothNets: Optimierung der CNN-Architektur für differenziell-private Tiefenlernverfahren

Remerscheid Nicolas W. ; Ziller Alexander ; Rueckert Daniel ; Kaissis Georgios

Zusammenfassung

Der am häufigsten eingesetzte Algorithmus zur Schulung von tiefen neuronalen Netzen mit Differential Privacy ist DPSGD (Differentially Private Stochastic Gradient Descent), der das Abschneiden und Verstören der pro-Stichprobe-Gradienten erfordert. Dies führt zu einer Verringerung der Modellnutzung im Vergleich zum nicht-privaten Training. Empirisch lässt sich beobachten, dass diese Genauigkeitsdeteriorierung stark von der Modellarchitektur abhängt. Wir haben dieses Phänomen untersucht und durch die Kombination von Komponenten, die gute individuelle Leistungen aufweisen, eine neue Modellarchitektur namens SmoothNet entwickelt, die sich durch erhöhte Robustheit gegenüber den Herausforderungen des DP-SGD-Trainings auszeichnet. Experimentell vergleichen wir SmoothNet mit Standardarchitekturen auf zwei Benchmark-Datensätzen und stellen fest, dass unsere Architektur anderen überlegen ist, wobei sie bei ε=7,0\varepsilon=7{,}0ε=7,0 eine Genauigkeit von 73{,}5% auf CIFAR-10 und bei ε=7,0\varepsilon=7{,}0ε=7,0 eine Genauigkeit von 69{,}2% auf ImageNette erreicht – ein Stand-des-Wissens-Ergebnis im Vergleich zu früheren architekturbezogenen Anpassungen für DP (Differential Privacy).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp