Command Palette
Search for a command to run...
Auto-encodeurs variationnels hypersphériques
Auto-encodeurs variationnels hypersphériques
Tim R. Davidson; Luca Falorsi; Nicola De Cao; Thomas Kipf; Jakub M. Tomczak
Résumé
L'Auto-Encodeur Variationnel (VAE) est l'un des modèles d'apprentissage automatique non supervisé les plus utilisés. Bien que le choix par défaut d'une distribution gaussienne pour à la fois la loi a priori et la loi a posteriori représente une distribution mathématiquement commode qui conduit souvent à des résultats compétitifs, nous montrons que cette paramétrisation échoue à modéliser des données possédant une structure latente hypersphérique. Pour remédier à ce problème, nous proposons d'utiliser une distribution de von Mises-Fisher (vMF) au lieu, conduisant ainsi à un espace latent hypersphérique. À travers une série d'expériences, nous démontrons comment un tel VAE hypersphérique, ou S-VAE, est plus adapté pour capturer des données avec une structure latente hypersphérique, tout en surpassant un VAE normal, ou N-VAE, en faible dimension pour d'autres types de données. Le code est disponible sur http://github.com/nicola-decao/s-vae-tf et https://github.com/nicola-decao/s-vae-pytorch.