Hypersphärische Variationsautoencoder

Der Variational Auto-Encoder (VAE) ist eines der am häufigsten verwendeten unüberwachten maschinellen Lernmodelle. Obwohl die Standardwahl einer Gaußverteilung sowohl für die A-priori- als auch für die A-posteriori-Verteilung eine mathematisch günstige Verteilung darstellt, die oft zu wettbewerbsfähigen Ergebnissen führt, zeigen wir, dass diese Parametrisierung versagt, wenn es um Daten mit einer latente hypersphärischen Struktur geht. Um dieses Problem zu lösen, schlagen wir vor, stattdessen eine von Mises-Fisher-(vMF-)Verteilung zu verwenden, was zu einem hypersphärischen latenten Raum führt. Durch eine Reihe von Experimenten demonstrieren wir, wie ein solcher hypersphärischer VAE, oder $\mathcal{S}$-VAE, besser geeignet ist, um Daten mit einer latente hypersphärischen Struktur zu erfassen und dabei einen normalen $\mathcal{N}$-VAE in niedrigen Dimensionen bei anderen Datentypen übertrifft. Quellcode unter http://github.com/nicola-decao/s-vae-tf und https://github.com/nicola-decao/s-vae-pytorch.