Command Palette
Search for a command to run...
SHOT-VAE : Modèles génératifs profonds semi-supervisés avec des approximations d'ELBO sensibles aux étiquettes
SHOT-VAE : Modèles génératifs profonds semi-supervisés avec des approximations d'ELBO sensibles aux étiquettes
Hao-Zhe Feng Kezhi Kong Minghao Chen Tianye Zhang Minfeng Zhu Wei Chen
Résumé
Les autoencodeurs variationnels semi-supervisés (VAEs) ont obtenu des résultats prometteurs, mais font face au défi selon lequel de bons scores ELBO ne garantissent pas nécessairement des résultats d’inférence précis. Dans cet article, nous analysons et proposons deux causes de ce problème : (1) L’objectif ELBO ne peut pas exploiter directement les informations de label. (2) Un seuil critique existe : continuer à optimiser l’ELBO au-delà de cette valeur ne conduit pas à une amélioration de la précision de l’inférence. À partir des résultats expérimentaux, nous proposons SHOT-VAE, une méthode qui résout ces problèmes sans introduire de connaissances a priori supplémentaires. SHOT-VAE apporte deux contributions principales : (1) Une nouvelle approximation de l’ELBO, nommée smooth-ELBO, qui intègre la perte de prédiction des labels directement dans l’objectif ELBO. (2) Une approximation fondée sur une interpolation optimale, qui surmonte le seuil de l’ELBO en réduisant l’écart entre l’ELBO et la vraisemblance des données. SHOT-VAE atteint de très bons résultats, avec un taux d’erreur de 25,30 % sur CIFAR-100 utilisant 10 000 étiquettes, et réduit ce taux à 6,11 % sur CIFAR-10 avec seulement 4 000 étiquettes.