SHOT-VAE: Semigewünschte tiefe generative Modelle mit label-aware ELBO-Näherungen

Semi-supervised Variational Autoencoders (VAEs) haben starke Ergebnisse erzielt, sind jedoch auch mit der Herausforderung konfrontiert, dass gute ELBO-Werte nicht zwangsläufig zu genauen Inferenzergebnissen führen. In diesem Paper untersuchen und formulieren wir zwei Ursachen für dieses Problem: (1) Das ELBO-Optimierungsziel kann die Label-Informationen direkt nicht nutzen. (2) Es existiert ein Engpasswert, und eine weitere Optimierung des ELBO nach Erreichen dieses Werts verbessert die Inferenzgenauigkeit nicht weiter. Auf Basis der experimentellen Ergebnisse schlagen wir SHOT-VAE vor, um diese Probleme zu lösen, ohne zusätzliche Vorwissen einzuführen. SHOT-VAE leistet zwei Beiträge: (1) Eine neue ELBO-Näherung namens smooth-ELBO, die die Label-Vorhersageverlustfunktion direkt in das ELBO integriert. (2) Eine Näherung basierend auf optimaler Interpolation, die den ELBO-Wert-Engpass überwindet, indem sie die Lücke zwischen ELBO und der Datensicherheitswahrscheinlichkeit verringert. SHOT-VAE erreicht eine hervorragende Leistung mit einem Fehleranteil von 25,30 % auf CIFAR-100 bei 10.000 Labels und senkt den Fehleranteil auf 6,11 % auf CIFAR-10 bei 4.000 Labels.