无监督学习的举例：1. K-means，2. PCA主成分分析（Principal Component Analysis，降维Dimensionality reduction），3. Autoencoders(Feature learning) 4. Density estimation

对于输入数据，有一个重构的数据作为输出。

有监督学习VS无监督学习

生成模型

已知训练数据，从相同的分布中生成新的样本。

生成模型主要分为两类：一类是显式密度模型，另一类是隐式密度模型

1. PixelRNN and PixelCNN

显式密度模型：

PixelRNN，从角开始生成像素，依赖于之前的像素，用RNN或LSTM建模的。如下，缺点为序列生成是很慢的。

PixelRNN

PixelCNN，也是从角开始生成，依赖于之前的像素，用CNN建模的模型。如下，利用其周围的信息，输出是每个像素的softmax loss。与PixelRNN的训练速度一样，但是在生成的时候还是很慢。

PixelCNN

2. Variational Autoencoders (VAE)

Autoencoders是一个无监督学习的方法，可以对无标注的训练数据进行学习，学习低纬的特征表示。包含两部分，encoder是将输入映射到特征z，通常ecoder可以是一个线性层加非线性激活函数，也可以是一个全连接层，也可以是ReLU CNN。  特征z的维数通常比x小，因为降维操作。为什么需要降维呢？z应该代表x中的重要特征，并且这些特征可以用于reconstruct original data。decoder与encoder的组成相似，ReLU CNN(upconv)，全连接，线性层加非线性激活函数。损失函数使用L2

问题：Intractability

z特征，取高斯先验概率 Decoder

问题在于，对于每个z无法计算这个积分：

解决方法：定义一个附加的encoder网络来近似p(z|x)。

3. GAN

不是通过显式的密度方程来做生成，而是利用基于游戏理论的方法，通过2-player游戏来训练分布。包含生成器和判别器

目标函数为：

三种方法的总结：