HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptation de la self-supervision pour l'apprentissage supervisé

WonJun Moon Ji-Hwan Kim Jae-Pil Heo

Résumé

Récemment, il a été démontré que le déploiement d'une auto-supervision appropriée constitue une voie prometteuse pour améliorer les performances de l'apprentissage supervisé. Toutefois, les bénéfices de l'auto-supervision ne sont pas pleinement exploités, car les tâches prétextes précédemment proposées sont spécifiquement conçues pour l'apprentissage non supervisé des représentations. À cet effet, nous introduisons tout d'abord trois propriétés souhaitables pour de telles tâches auxiliaires, afin d'assister l'objectif supervisé. Premièrement, ces tâches doivent guider le modèle vers l'apprentissage de caractéristiques riches. Deuxièmement, les transformations impliquées dans l'auto-supervision ne doivent pas modifier de manière significative la distribution d'apprentissage. Troisièmement, les tâches doivent être légères et génériques afin d’assurer une grande applicabilité aux méthodes existantes. Par la suite, pour illustrer comment les tâches prétextes existantes peuvent satisfaire ces critères et être adaptées à l'apprentissage supervisé, nous proposons une tâche d'auto-supervision auxiliaire simple, appelée prédiction de rotation localisable (LoRot). Nos expérimentations approfondies valident les avantages de LoRot en tant que tâche prétexte spécifiquement conçue pour l'apprentissage supervisé, en termes de robustesse et de capacité de généralisation. Notre code est disponible à l'adresse suivante : https://github.com/wjun0830/Localizable-Rotation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp