변분형 자동 인코더(VAE)

머신 러닝에서 변분 오토인코더(VAE)는 Diederik P. Kingma와 Max Welling이 제안한 인공 신경망 구조로, 확률적 그래픽 모델과 변분 베이지안 방법에 속합니다.

이는 주어진 데이터 세트의 기본 확률 분포를 포착하고 새로운 샘플을 생성하도록 특별히 설계된 생성 모델입니다.그들은 인코더-디코더 구조를 포함하는 아키텍처를 활용합니다. 인코더는 입력 데이터를 잠재 형태로 변환하고, 디코더는 이 잠재 표현을 기반으로 원본 데이터를 재구성하는 것을 목표로 합니다. VAE는 원본 데이터와 재구성된 데이터 간의 차이를 최소화하도록 프로그래밍되어 기본 데이터 분포를 이해하고 동일한 분포를 따르는 새로운 샘플을 생성할 수 있습니다.

VAE의 가장 큰 장점은 훈련 데이터와 유사한 새로운 데이터 샘플을 생성할 수 있다는 것입니다. VAE의 잠재 공간은 연속적이므로 디코더는 훈련 데이터 포인트 사이를 원활하게 보간하는 새로운 데이터 포인트를 생성할 수 있습니다. VAE는 밀도 추정, 텍스트 생성 등 다양한 분야에 응용됩니다.

Variational Autoencoder의 아키텍처

VAE는 일반적으로 인코더 연결과 디코더 연결이라는 두 가지 주요 구성 요소로 구성됩니다. 인코더 네트워크는 입력 데이터를 종종 "비밀 코드"라고 불리는 저차원 비밀 공간으로 변환합니다.

인코더 네트워크를 구현하기 위해 다양한 신경망 토폴로지(예: 완전 연결 신경망 또는 합성곱 신경망)를 연구할 수 있습니다. 선택된 아키텍처는 데이터의 특성에 따라 결정됩니다. 인코더 네트워크는 가우시안 분포의 평균과 분산과 같이 잠재 코드를 샘플링하고 생성하는 데 필요한 기본 매개변수를 생성합니다.

마찬가지로 연구자들은 다양한 유형의 신경망을 사용하여 디코더 네트워크를 구축할 수 있으며, 그 목표는 제공된 잠재 코드에서 원본 데이터를 재구성하는 것입니다.

참고문헌

【1】https://zh.wikipedia.org/wiki/%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8

【2】https://www.analyticsvidhya.com/blog/2023/07/an-overview-of-variational-autoencoders/