HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de représentations diverses et discriminatives par le principe de réduction maximale du taux de codage

Yaodong Yu Kwan Ho Ryan Chan Chong You Chaobing Song Yi Ma

Résumé

Pour découvrir des structures intrinsèques à faible dimension à partir de données à haute dimension qui discriminent le mieux les classes, nous proposons le principe de Réduction maximale du taux de codage (MCR2\text{MCR}^2MCR2), une mesure d’ordre informationnel qui maximise la différence de taux de codage entre l’ensemble du jeu de données et la somme des taux associés à chaque classe individuelle. Nous clarifions ses liens avec la plupart des cadres existants, tels que la cross-entropie, le goulot d’étranglement d’information, le gain d’information, l’apprentissage contractif et l’apprentissage contrastif, tout en offrant des garanties théoriques pour l’apprentissage de caractéristiques diverses et discriminantes. Le taux de codage peut être calculé avec précision à partir d’échantillons finis provenant de distributions semblant des sous-espaces dégénérés, et permet d’apprendre des représentations intrinsèques de manière unifiée, qu’il s’agisse d’un cadre supervisé, auto-supervisé ou non supervisé. Expérimentalement, les représentations apprises selon ce principe se révèlent nettement plus robustes aux erreurs de labels dans la classification que celles apprises via la cross-entropie, et peuvent conduire à des résultats de pointe en clustering de données mixtes à partir de caractéristiques invariantes auto-apprises.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de représentations diverses et discriminatives par le principe de réduction maximale du taux de codage | Articles | HyperAI