HyperAIHyperAI

Command Palette

Search for a command to run...

SmoothNets : Optimisation de la conception d'architecture de CNN pour l'apprentissage profond différentiellement privé

Remerscheid Nicolas W. ; Ziller Alexander ; Rueckert Daniel ; Kaissis Georgios

Résumé

L'algorithme le plus largement utilisé pour entraîner des réseaux de neurones profonds avec la Protection Différentielle est le DPSGD (Differentially Private Stochastic Gradient Descent), qui nécessite le rognage et l'ajout de bruit aux gradients par échantillon. Cela introduit une diminution de l'utilité du modèle par rapport à l'entraînement non privé. Expérimentalement, il a été observé que cette dégradation de précision est fortement dépendante de l'architecture du modèle. Nous avons enquêté sur ce phénomène et, en combinant des composants présentant de bonnes performances individuelles, nous avons élaboré une nouvelle architecture de modèle appelée SmoothNet, caractérisée par une robustesse accrue face aux défis posés par l'entraînement DP-SGD. Par des expériences, nous avons comparé SmoothNet à des architectures standard sur deux jeux de données de référence et constaté que notre architecture surpassait les autres, atteignant une précision de 73,5 % sur CIFAR-10 pour ε=7,0\varepsilon=7{,}0ε=7,0 et 69,2 % sur ImageNette pour ε=7,0\varepsilon=7{,}0ε=7,0, un résultat d'avant-garde comparé aux modifications architecturales précédentes pour la Protection Différentielle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SmoothNets : Optimisation de la conception d'architecture de CNN pour l'apprentissage profond différentiellement privé | Articles | HyperAI