Amélioration de la robustesse face aux perturbations courantes par adaptation au décalage des covariables

Les modèles d’vision par ordinateur d’avant-garde actuels sont sensibles aux dégradations d’image telles que le flou ou les artefacts de compression, ce qui limite leur performance dans de nombreuses applications du monde réel. Nous affirmons ici que les benchmarks courants utilisés pour évaluer la robustesse des modèles face aux dégradations fréquentes (comme ImageNet-C) sous-estiment souvent la robustesse des modèles dans de nombreuses (bien que pas toutes) scénarios d’application. L’idée centrale réside dans le fait que, dans de nombreux cas, plusieurs exemples non étiquetés des dégradations sont disponibles et peuvent être exploités pour une adaptation non supervisée en ligne. Remplacer les statistiques d’activation estimées par la normalisation par lot sur l’ensemble d’entraînement par les statistiques des images dégradées améliore de manière cohérente la robustesse sur 25 modèles informatiques visionnaires populaires. En utilisant ces statistiques corrigées, ResNet-50 atteint un taux de mCE de 62,2 % sur ImageNet-C, contre 76,7 % sans adaptation. Avec le modèle plus robuste DeepAugment+AugMix, nous améliorons l’état de l’art atteint jusqu’à présent par un modèle ResNet-50, passant de 53,6 % à 45,4 % de mCE. Même l’adaptation à un seul exemple améliore la robustesse pour les modèles ResNet-50 et AugMix, et 32 exemples suffisent à dépasser l’état de l’art actuel pour une architecture ResNet-50. Nous soutenons que les résultats obtenus avec des statistiques adaptées doivent être intégrés systématiquement lors du rapport de scores sur les benchmarks de dégradations et dans d’autres scénarios de généralisation hors distribution.