HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de représentation avec le codage prédictif contrastif

Aaron van den Oord Yazhe Li Oriol Vinyals

Résumé

Bien que l'apprentissage supervisé ait permis de grandes avancées dans de nombreuses applications, l'apprentissage non supervisé n'a pas connu une telle adoption généralisée et reste un défi important pour l'intelligence artificielle. Dans ce travail, nous proposons une approche universelle d'apprentissage non supervisé pour extraire des représentations utiles à partir de données de grande dimension, que nous appelons le Codage Prédictif Contrastif (Contrastive Predictive Coding). L'insight clé de notre modèle est d'apprendre ces représentations en prédiction du futur dans l'espace latent en utilisant des modèles autorégressifs puissants. Nous utilisons une perte contrastive probabiliste qui incite l'espace latent à capturer les informations maximement utiles pour prédire les échantillons futurs. Cette méthode rend également le modèle traitable grâce à l'échantillonnage négatif. Alors que la plupart des travaux précédents se sont concentrés sur l'évaluation des représentations pour une modalité particulière, nous démontrons que notre approche est capable d'apprendre des représentations utiles atteignant de bonnes performances dans quatre domaines distincts : la parole, les images, le texte et l'apprentissage par renforcement dans des environnements 3D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp