HyperAIHyperAI

Command Palette

Search for a command to run...

Régularisation contrastive pour l'apprentissage semi-supervisé

Doyup Lee Sungwoong Kim Ildoo Kim Yeongjae Cheon Minsu Cho Wook-Shin Han

Résumé

La régularisation de cohérence sur les prédictions de labels devient une technique fondamentale dans l’apprentissage semi-supervisé, mais elle nécessite encore un grand nombre d’itérations d’entraînement pour atteindre de hautes performances. Dans cette étude, nous analysons que la régularisation de cohérence limite la propagation des informations de label en raison de l’exclusion des échantillons présentant des pseudo-labels peu fiables lors des mises à jour du modèle. Ensuite, nous proposons une régularisation contrastive afin d’améliorer à la fois l’efficacité et la précision de la régularisation de cohérence, en exploitant des caractéristiques bien regroupées des données non étiquetées. Plus précisément, après que des échantillons fortement augmentés ont été attribués à des clusters à l’aide de leurs pseudo-labels, notre régularisation contrastive met à jour le modèle de manière à ce que les caractéristiques associées à des pseudo-labels fiables s’agrègent au sein du même cluster, tout en étant repoussées par les caractéristiques provenant de clusters différents. Ainsi, les informations des pseudo-labels fiables peuvent être efficacement propagées à un plus grand nombre d’échantillons non étiquetés durant l’entraînement grâce aux caractéristiques bien regroupées. Sur des benchmarks d’apprentissage semi-supervisé, notre régularisation contrastive améliore les méthodes précédentes basées sur la cohérence et atteint des résultats de pointe, notamment avec un nombre réduit d’itérations d’entraînement. Notre méthode démontre également une robustesse remarquable sur des tâches d’apprentissage semi-supervisé à ensemble ouvert, où les données non étiquetées incluent des échantillons hors distribution.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp