Apprentissage de représentations discrètes par l'entraînement auto-augmenté maximisant l'information

L'apprentissage de représentations discrètes des données est une tâche centrale en apprentissage automatique en raison de la compacité de ces représentations et de leur facilité d'interprétation. Cette tâche englobe le clustering et l'apprentissage de hachage comme cas particuliers. Les réseaux neuronaux profonds sont prometteurs pour cette utilisation car ils peuvent modéliser la non-linéarité des données et s'adapter à de grands ensembles de données. Cependant, leur complexité de modèle est importante, et il est donc nécessaire de régulariser soigneusement les réseaux afin d'apprendre des représentations utiles qui présentent l'invariance souhaitée pour les applications d'intérêt. À cet effet, nous proposons une méthode appelée Apprentissage par Augmentation Maximisant l'Information (IMSAT). Dans IMSAT, nous utilisons l'augmentation des données pour imposer l'invariance aux représentations discrètes. Plus précisément, nous encourageons les représentations prédites des points de données augmentés à être proches de celles des points de données originaux, dans une approche bout-à-bout. En même temps, nous maximisons la dépendance informationnelle entre les données et leurs représentations discrètes prédites. Des expériences étendues sur des jeux de données de référence montrent que IMSAT produit des résultats à l'état de l'art tant pour le clustering que pour l'apprentissage non supervisé de hachage.