Variationaler Autoencoder (VAE)
Im maschinellen Lernen ist der Variational Autoencoder (VAE) eine von Diederik P. Kingma und Max Welling vorgeschlagene künstliche neuronale Netzwerkstruktur, die zum probabilistischen grafischen Modell und zur variationellen Bayes-Methode gehört.
Es handelt sich um ein generatives Modell, das speziell dafür entwickelt wurde, die zugrunde liegende Wahrscheinlichkeitsverteilung eines gegebenen Datensatzes zu erfassen und neue Stichproben zu generieren.Sie nutzen eine Architektur, die eine Encoder-Decoder-Struktur umfasst. Der Encoder wandelt die Eingabedaten in eine latente Form um und der Decoder versucht, die Originaldaten basierend auf dieser latenten Darstellung zu rekonstruieren. VAEs sind so programmiert, dass sie die Unterschiede zwischen den ursprünglichen und den rekonstruierten Daten minimieren. Dadurch können sie die zugrunde liegende Datenverteilung verstehen und neue Stichproben generieren, die derselben Verteilung entsprechen.
Ein wesentlicher Vorteil von VAEs ist ihre Fähigkeit, neue Datenproben zu generieren, die den Trainingsdaten ähnlich sind. Da der latente Raum des VAE kontinuierlich ist, kann der Decoder neue Datenpunkte generieren, die nahtlos zwischen den Trainingsdatenpunkten interpolieren. VAE findet Anwendung in verschiedenen Bereichen wie Dichteschätzung und Textgenerierung.
Architektur des Variational Autoencoders
VAEs bestehen typischerweise aus zwei Hauptkomponenten: Encoder-Anschlüssen und Decoder-Anschlüssen. Das Encoder-Netzwerk transformiert die Eingabedaten in einen niedrigdimensionalen geheimen Raum, der oft als „Geheimcode“ bezeichnet wird.
Zur Implementierung des Encoder-Netzwerks können verschiedene neuronale Netzwerktopologien (z. B. vollständig verbundene neuronale Netzwerke oder Convolutional Neural Networks) untersucht werden. Die gewählte Architektur basiert auf den Eigenschaften der Daten. Das Encoder-Netzwerk erzeugt die grundlegenden Parameter, die zum Abtasten und Generieren latenter Codes erforderlich sind, wie etwa den Mittelwert und die Varianz der Gauß-Verteilung.
In ähnlicher Weise können Forscher verschiedene Arten neuronaler Netzwerke verwenden, um ein Decoder-Netzwerk aufzubauen, dessen Ziel darin besteht, die Originaldaten aus dem bereitgestellten latenten Code zu rekonstruieren.
Verweise
【1】https://zh.wikipedia.org/wiki/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8
【2】https://www.analyticsvidhya.com/blog/2023/07/an-overview-of-variational-autoencoders/