HyperAIHyperAI

Command Palette

Search for a command to run...

Differenzialprivates Bilderkennung mit hoher Genauigkeit durch Skalierung entsperren

De Soham ; Berrada Leonard ; Hayes Jamie ; Smith Samuel L. ; Balle Borja

Zusammenfassung

Differential Privacy (DP) bietet eine formale Datenschutzgarantie, die es verhindert, dass Gegner, die Zugang zu einem maschinellen Lernmodell haben, Informationen über einzelne Trainingsdatenpunkte extrahieren können. Differentially Private Stochastic Gradient Descent (DP-SGD), die beliebteste DP-Trainingsmethode für tiefes Lernen, realisiert diesen Schutz durch das Hinzufügen von Rauschen während des Trainings. Allerdings haben frühere Arbeiten festgestellt, dass DP-SGD oft zu einer erheblichen Verschlechterung der Leistung bei Standard-Benchmarks für Bildklassifizierung führt. Zudem haben einige Autoren angenommen, dass DP-SGD grundsätzlich schlecht auf großen Modellen abschneidet, da die Norm des zur Erhaltung der Privatsphäre erforderlichen Rauschens proportional zur Modell-Dimension ist. Im Gegensatz dazu zeigen wir, dass DP-SGD auf überparametrisierten Modellen erheblich besser performen kann als bisher angenommen. Durch sorgfältiges Anpassen der Hyperparameter und die Anwendung einfacher Techniken zur Sicherstellung der Signalverbreitung und zur Verbesserung der Konvergenzrate erreichen wir einen neuen Stand der Technik (SOTA) ohne zusätzliche Daten auf CIFAR-10 mit 81,4% unter (8, 10^{-5})-DP mithilfe eines 40-schichtigen Wide-ResNet, was den vorherigen SOTA von 71,7% verbessert. Beim Feinjustieren eines vortrainierten NFNet-F3 erreichen wir eine bemerkenswerte Top-1-Akkuratesse von 83,8% auf ImageNet unter (0,5, 8 \cdot 10^{-7})-DP. Darüber hinaus erreichen wir eine Top-1-Akkuratesse von 86,7% unter (8, 8 \cdot 10^{-7})-DP, was nur 4,3% unter dem aktuellen nicht privaten SOTA für diese Aufgabe liegt. Wir glauben, dass unsere Ergebnisse ein wichtiger Schritt sind, um die Genauigkeitslücke zwischen privater und nicht privater Bildklassifizierung zu schließen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp