変分オートエンコーダー (VAE)

機械学習において、変分オートエンコーダ (VAE) は、Diederik P. Kingma と Max Welling によって提案された人工ニューラル ネットワーク構造であり、確率グラフ モードおよび変分ベイジアン法に属します。

これは、特定のデータセットの基礎となる確率分布を取得し、新しいサンプルを生成するために特別に設計された生成モデルです。これらは、エンコーダ/デコーダ構造を含むアーキテクチャを利用します。エンコーダは入力データを潜在形式に変換し、デコーダはこの潜在表現に基づいて元のデータを再構築することを目的としています。 VAE は、元のデータと再構成されたデータの差を最小限に抑えるようにプログラムされており、基礎となるデータの分布を理解し、同じ分布に適合する新しいサンプルを生成できるようになります。

VAE の大きな利点は、トレーニング データに似た新しいデータ サンプルを生成できることです。 VAE の潜在空間は連続しているため、デコーダはトレーニング データ ポイント間をシームレスに補間する新しいデータ ポイントを生成できます。 VAE は、密度推定やテキスト生成など、さまざまな分野で応用されています。

変分オートエンコーダのアーキテクチャ

VAE には通常、エンコーダ接続とデコーダ接続という 2 つの主要コンポーネントがあります。エンコーダ ネットワークは、入力データを、多くの場合「秘密コード」と呼ばれる低次元の秘密空間に変換します。

エンコーダ ネットワークを実装するには、完全接続ニューラル ネットワークや畳み込みニューラル ネットワークなどのさまざまなニューラル ネットワーク トポロジを検討できます。選択されるアーキテクチャはデータの特性に基づいています。エンコーダ ネットワークは、ガウス分布の平均や分散など、潜在コードをサンプリングして生成するために必要な基本パラメータを生成します。

同様に、研究者はさまざまなタイプのニューラル ネットワークを使用して、提供された潜在コードから元のデータを再構築することを目的としたデコーダ ネットワークを構築できます。

参考文献

【1】https://zh.wikipedia.org/wiki/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8

【2】https://www.analyticsvidhya.com/blog/2023/07/an-overview-of-variational-autoencoders/