SmoothNets : Optimisation de la conception d'architecture de CNN pour l'apprentissage profond différentiellement privé

L'algorithme le plus largement utilisé pour entraîner des réseaux de neurones profonds avec la Protection Différentielle est le DPSGD (Differentially Private Stochastic Gradient Descent), qui nécessite le rognage et l'ajout de bruit aux gradients par échantillon. Cela introduit une diminution de l'utilité du modèle par rapport à l'entraînement non privé. Expérimentalement, il a été observé que cette dégradation de précision est fortement dépendante de l'architecture du modèle. Nous avons enquêté sur ce phénomène et, en combinant des composants présentant de bonnes performances individuelles, nous avons élaboré une nouvelle architecture de modèle appelée SmoothNet, caractérisée par une robustesse accrue face aux défis posés par l'entraînement DP-SGD. Par des expériences, nous avons comparé SmoothNet à des architectures standard sur deux jeux de données de référence et constaté que notre architecture surpassait les autres, atteignant une précision de 73,5 % sur CIFAR-10 pour $\varepsilon=7{,}0$ et 69,2 % sur ImageNette pour $\varepsilon=7{,}0$, un résultat d'avant-garde comparé aux modifications architecturales précédentes pour la Protection Différentielle.