Machine Learning 썸네일형 리스트형 Variational autoencoder의 이론적 배경과 그 한계점 분석 포스텍 옥정슬 교수님의 머신러닝 강의를 듣다가 variational autoencoder를 잘 알게된 것 같아서 정리를 해보았다. 근본적으로 생성 모델의 목표는 데이터의 분포를 잘 나타내는 것이다. 데이터의 분포를 나타내는 하나의 방법으로 어떤 간단한 잠재 분포를 설정하고 그 잠재 분포와 실제 데이터의 분포의 joint distribution을 구한 뒤, 잠재 변수를 marginalize하는 방식이다. 이를 수식으로 나타내면 다음과 같다. (데이터가 i.i.d라고 가정하고, 로그를 씌워서 합으로 나타내었다.) $$ \log p_{\pi, \theta} (X) = \sum_{x_i} \log \int p_\pi (z) p_\theta (x_i | z) dz $$ 이 때, $p_\pi (z)$는 정규 분포와.. 더보기 KL Divergence와 maximum likelihood estimator 간의 관계 우리는 KL divergence를 최소화하는 결과가 곧 maximum likelihood estimator가 됨을 보일 것이다. $$ arg \min_\theta KL ( \tilde{p} || p_\theta ) = \hat{\theta}_{MLE} $$ 먼저, maximum likelihood estimator의 정의부터 알아보자. 우리는 어떤 파라미터화된 분포 $p_\theta$를 가지고 이 분포와 데이터를 이용해서 likelihood를 나타낸다. 그리고 이 likelihood가 최대가 되는 $\theta$를 구하고 싶어하고 그 때의 $\theta$를 maximum likelihood estimator라고 한다. 이를 수식으로 표현하면 다음과 같다. $$ \hat{\theta}_{MLE} := ar.. 더보기 이전 1 다음
