HyperAIHyperAI

Command Palette

Search for a command to run...

L'utilisation de l'apprentissage auto-supervisé peut améliorer la robustesse du modèle et son incertitude.

Dan Hendrycks; Mantas Mazeika; Saurav Kadavath; Dawn Song

Résumé

L'auto-supervision fournit des représentations efficaces pour les tâches en aval sans nécessiter d'étiquettes. Cependant, les approches existantes sont en retard par rapport à l'entraînement entièrement supervisé et sont souvent considérées comme bénéfiques uniquement pour éviter ou réduire le besoin d'annotations. Nous avons découvert que l'auto-supervision peut améliorer la robustesse de plusieurs manières, notamment en termes de résistance aux exemples adverses, de corruption des étiquettes et de perturbations courantes des entrées. De plus, l'auto-supervision apporte une grande amélioration à la détection hors distribution pour des anomalies proches de la distribution, au point de surpasser les performances des méthodes entièrement supervisées. Ces résultats montrent le potentiel de l'auto-supervision pour améliorer la robustesse et l'estimation de l'incertitude, et établissent ces tâches comme de nouveaux axes d'évaluation pour les futures recherches en apprentissage auto-supervisé.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp