Apprentissage de représentations diverses et discriminatives par le principe de réduction maximale du taux de codage

Pour découvrir des structures intrinsèques à faible dimension à partir de données à haute dimension qui discriminent le mieux les classes, nous proposons le principe de Réduction maximale du taux de codage ($\text{MCR}^2$), une mesure d’ordre informationnel qui maximise la différence de taux de codage entre l’ensemble du jeu de données et la somme des taux associés à chaque classe individuelle. Nous clarifions ses liens avec la plupart des cadres existants, tels que la cross-entropie, le goulot d’étranglement d’information, le gain d’information, l’apprentissage contractif et l’apprentissage contrastif, tout en offrant des garanties théoriques pour l’apprentissage de caractéristiques diverses et discriminantes. Le taux de codage peut être calculé avec précision à partir d’échantillons finis provenant de distributions semblant des sous-espaces dégénérés, et permet d’apprendre des représentations intrinsèques de manière unifiée, qu’il s’agisse d’un cadre supervisé, auto-supervisé ou non supervisé. Expérimentalement, les représentations apprises selon ce principe se révèlent nettement plus robustes aux erreurs de labels dans la classification que celles apprises via la cross-entropie, et peuvent conduire à des résultats de pointe en clustering de données mixtes à partir de caractéristiques invariantes auto-apprises.