Deep Generative Model

Pixel RNN

为了生成图片，生成一个像素每个时间点。

Pixel RNN示意图

Variational Autoencoder

encoder输出两个维度相同的vector m和 $\sigma$ ，之后从正态分布中采样一个vector e，最后得到的结果c的计算公式为:
$c_i = exp(\sigma_i) \times e_i + m_i$

VAE示意图

VAE得到的图不太清楚，但是VAE可以控制需要生成的图片。
Minimize

\sum_{i=1}^3(exp(\sigma_i)-(1+\sigma_i)+(m_i)^2)

Why VAE?

Intuitive Reason
VAE增加了noise，从code的空间连续采样，得到的图片质量会更好。
如果不对variance进行限制，网络会认为 $\sigma$ 和e等于0就好。

VAE

$z ~ N(0,1)\\ x|z ~ N(\mu(z),\sigma(z))$

最大似然估计
$P(x)=\int_zP(z)P(x|z)dz\\ L=\sum_xlogP(x)$
P(z)是正态分布， $x|z ~ N(\mu(z),\sigma(z))$ ， $\mu(z),\sigma(z)$ 是需要被优化的值。

$\begin{aligned} logP(x) &=\int_zq(z|x)logP(x)dz\\ & =\int_zq(z|x)log(\frac{P(z,x)}{P(z|x)})dz\\ & =\int_zq(z|x)log(\frac{P(z,x)}{q(z|x)}\frac{q(z|x)}{P(z|x)})dz\\ & =\int_zq(z|x)log(\frac{P(z,x)}{q(z|x)})dz+\int_zq(z|x)log(\frac{q(z|x)}{P(z|x)})dz\\ & \geq \int_zq(z|x)log(\frac{P(x|z)P(z)}{q(z|x)})dz \end{aligned}$
上述化简结果的两个部分，后半部分其实是 $KL(q(z|x)||P(z|x))$ 这两个分布的KL散度，衡量了两个分布的距离，大于等于0，我们得出了L的下界。