Intégrations paramétriques UMAP pour la représentation et l'apprentissage semi-supervisé

UMAP est un algorithme non paramétrique de réduction de dimension basé sur les graphes, qui utilise la géométrie riemannienne appliquée et la topologie algébrique pour trouver des embeddings à faible dimension de données structurées. L'algorithme UMAP se compose de deux étapes : (1) construire une représentation graphique d’un ensemble de données (complexe simplicial flou), puis (2) optimiser, par descente de gradient stochastique, un embedding à faible dimension du graphe. Dans ce travail, nous étendons la deuxième étape d’UMAP à une optimisation paramétrique sur les poids d’un réseau de neurones, permettant d’apprendre une relation paramétrique entre les données d’entrée et leur représentation à faible dimension. Nous montrons tout d’abord que UMAP paramétrique atteint des performances comparables à celles de sa version non paramétrique, tout en offrant l’avantage d’un mapping paramétrique appris (par exemple, des embeddings rapides en ligne pour de nouvelles données). Nous explorons ensuite UMAP comme mécanisme de régularisation, en contrainant la distribution latente des autoencodeurs, en variant paramétriquement la préservation de la structure globale, et en améliorant la précision des classificateurs dans les tâches d’apprentissage semi-supervisé en exploitant la structure des données non étiquetées. Tutoriel Google Colab : https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp?usp=sharing