L'utilisation de l'apprentissage auto-supervisé peut améliorer la robustesse du modèle et son incertitude.

L'auto-supervision fournit des représentations efficaces pour les tâches en aval sans nécessiter d'étiquettes. Cependant, les approches existantes sont en retard par rapport à l'entraînement entièrement supervisé et sont souvent considérées comme bénéfiques uniquement pour éviter ou réduire le besoin d'annotations. Nous avons découvert que l'auto-supervision peut améliorer la robustesse de plusieurs manières, notamment en termes de résistance aux exemples adverses, de corruption des étiquettes et de perturbations courantes des entrées. De plus, l'auto-supervision apporte une grande amélioration à la détection hors distribution pour des anomalies proches de la distribution, au point de surpasser les performances des méthodes entièrement supervisées. Ces résultats montrent le potentiel de l'auto-supervision pour améliorer la robustesse et l'estimation de l'incertitude, et établissent ces tâches comme de nouveaux axes d'évaluation pour les futures recherches en apprentissage auto-supervisé.