Déverrouiller la classification d'images différentiellement privée à haute précision grâce à l'échelle

La Privacy Différentielle (DP) fournit une garantie de confidentialité formelle empêchant les adversaires ayant accès à un modèle d'apprentissage automatique d'extraire des informations sur les points d'entraînement individuels. La Descente de Gradient Stochastique Différentiellement Privée (DP-SGD), la méthode d'entraînement DP la plus populaire pour l'apprentissage profond, réalise cette protection en injectant du bruit pendant l'entraînement. Cependant, des travaux antérieurs ont montré que le DP-SGD entraîne souvent une dégradation significative des performances sur des benchmarks standard de classification d'images. De plus, certains auteurs ont avancé l'hypothèse que le DP-SGD performe naturellement mal sur les grands modèles, car la norme du bruit nécessaire pour préserver la confidentialité est proportionnelle à la dimension du modèle. En opposition avec ces conclusions, nous démontrons que le DP-SGD sur des modèles surentraînés peut se révéler bien meilleur que ce qui était précédemment supposé. En combinant un réglage minutieux des hyperparamètres avec des techniques simples pour assurer la propagation du signal et améliorer le taux de convergence, nous obtenons un nouveau meilleur résultat (SOTA) sans données supplémentaires sur CIFAR-10, atteignant 81,4% sous (8, 10^{-5})-DP en utilisant un Wide-ResNet à 40 couches, améliorant ainsi le précédent meilleur résultat (SOTA) de 71,7%. Lorsque nous affinons un NFNet-F3 pré-entraîné, nous obtenons une précision remarquable de 83,8% en top-1 sur ImageNet sous (0,5, 8 \cdot 10^{-7})-DP. De plus, nous atteignons également une précision en top-1 de 86,7% sous (8, 8 \cdot 10^{-7})-DP, soit seulement 4,3% en dessous du meilleur résultat actuel non privé pour cette tâche. Nous pensons que nos résultats constituent une étape importante vers la réduction de l'écart de précision entre la classification d'images privée et non privée.