Les multiples visages de la robustesse : une analyse critique de la généralisation hors distribution

Nous introduisons quatre nouveaux jeux de données réels mettant en évidence des décalages de distribution, caractérisés par des changements dans le style d’image, le flou, la localisation géographique, les paramètres de prise de vue par caméra, et bien d’autres facteurs. Grâce à ces nouveaux jeux de données, nous évaluons de manière systématique les méthodes précédemment proposées pour améliorer la robustesse hors distribution et les soumettons à des tests rigoureux. Nous constatons que l’utilisation de modèles plus volumineux ainsi que des augmentations artificielles de données peut réellement améliorer la robustesse face aux décalages de distribution réels, contredisant ainsi certaines affirmations de travaux antérieurs. De plus, nous observons que les améliorations obtenues sur des benchmarks artificiels de robustesse peuvent se transférer à des décalages de distribution réels, ce qui contredit également des conclusions antérieures. Inspirés par notre constat selon lequel les augmentations de données peuvent aider à faire face aux décalages de distribution réels, nous proposons également une nouvelle méthode d’augmentation de données qui atteint un nouveau sommet de performance, surpassant même des modèles préentraînés sur 1000 fois plus de données étiquetées. Globalement, nos résultats montrent que certaines méthodes se révèlent efficaces de manière cohérente face aux décalages de distribution affectant les textures et les statistiques locales des images, mais qu’elles ne sont pas efficaces pour d’autres types de décalages, comme les changements géographiques. Nos observations mettent en lumière la nécessité pour les recherches futures d’étudier simultanément plusieurs types de décalages de distribution, car nous démontrons qu’aucune des méthodes évaluées n’améliore de manière constante la robustesse.