生成式generative model
2020-09-02 本文已影响0人
shudaxu
- 建模目标差异：
判别模型是已知x，对p(y|x)建模，由于x已知，所以判别模型没有对x本身的分布建模。
生成模型对全概率建模，包括所有特征之间的关系，以及他们与目标变量之间的关系。 - 使用场景差异：
由于大多数场景中，我们都是在已知x的情况下进行推断，所以没有必要使用生成模型，生成模型准确度更差（因为生成模型可能本身有些其他不准确的假设，比如符合高斯分布等）
但是在一些特定的场景，或者非监督学习中（Naive Bayes，HMM），或者对抗网络（GAN）变分自编码器（VAE）中，生成模型都是必不可少的。 - 预估
对于判别式来说，建模和预估都是P(y|x)，一般模型都是输入x能直接生成yi的对应概率
而对于生成式来说，建模是P(X,Y)，预估时，还是要通过建模中的参数和模型假设，推倒出P(Y|X)【如：对每个yi都推断，选取最优结果】 - 模型发展：
GAN，VAE，PixelCNN，GLOW等。。。
image.png
- 生成模型在对概率密度本身的估计上（方便做区间估计）有很重要的意义。在uncertainty预估上，也有一定的应用。当然，论文阐述了单纯直接使用GLOW等模型无法很好地识别OOD，需要一定的改进。
https://ai.googleblog.com/2019/12/improving-out-of-distribution-detection.html
