One-Shot Generalization in Deep

2017-06-02 本文已影响219人 BookThief

一. 引述

人们可以从仅仅一个或一小撮样本中学习一个新的概念，而机器学习的标准算法需要成百上千个类似的样本

生成类似类型的新样本；

把它解析成部分，并理解它们的关系。

人类善于仅凭单个例子对新概念和经验进行推理。
人类拥有单次泛化的能力：遭遇新概念，理解其结构，然后生成这个概念的有意义的变型。
Salakhutdinov et al.(2013)发展了一个结合了玻耳兹曼机和等级狄利克雷过程的概率模型，可以学习层级概念类别，并且提供了强大的生成模型.
Lake et al.(2015)等人利用基于组合性(Compositionality)、因果关系(Causality)和学会学习(Learning to learn)的贝叶斯程序学习完成了基于贝叶斯推断的单点学习

从源信息中有选择性地筛选出一部分信息被进一步利用的机制。
人脑的注意力模型，就是说你看到了整幅画面，但在特定的时刻t，你的意识和注意力的焦点是集中在画面中的某一个部分上，其它部分虽然还在你的眼中，但是你分配给它们的注意力资源是很少的

generative process（生成过程）使用了writing attention机制，在inference process（推理过程）使用了reading attention机制。

两个机制在概念上有区分，但实际运用过程中遵从一样的计算原理，这篇文章中采用了spatial attention，使用参数 λ 处理输入图像 x 以生成输出

**κh 和κw 是一维核，⨂是两个核的张量外积，*表示卷积**

Attention是很神奇的东西，想仔细了解，可以阅读下面的论文：

Recurrent Models of Visual Attention (2014.06.24)
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention (2015.02.10)
DRAW: A Recurrent Neural Network For Image Generation (2015.05.20)
Teaching Machines to Read and Comprehend (2015.06.04)
Learning Wake-Sleep Recurrent Attention Models (2015.09.22)
Action Recognition using Visual Attention (2015.10.12)
Recursive Recurrent Nets with Attention Modeling for OCR in the Wild (2016.03.09)
Sequence to Sequence Learning using Neural Networks
Reasoning about Neural Attention
A Neural Attention Model for Abstractive Sentence Summarization
Neural Machine Translation by Jointly Learning to Align and Translate

隐变量：具有不可直接观测特征的综合性变量
概率模型的中心任务：给定观测（可见）数据变量X的条件下，计算潜在变量Z的后验概率分布P(Z | X)

**基于隐变量的贝叶斯概率模型**

EM算法：计算完整数据对数似然函数关于潜在变量后验概率分布的期望

实际应用中计算后验概率分布或者后验概率分布的期望是不可⾏的 :

从公式角度：

选择合适的分布q来逼近真实的后验概率分布p！!

Gibbs Sampling这一类Monte Carlo算法，它们的做法就是通过抽取大量的样本估计真实的后验分布；

现在问题变成了如何选择一个q(X),使得估算的效率最高:
1.考虑概率分布q是⼀个受限制的类别
2.充分限制q可以取得的概率分布的类别范围，使得这个范围中的所有概率分布都是我们可以处理
3.这个范围充分⼤、充分灵活，使它对真实后验概率分布的⼀个⾜够好的近似

简单的分布怎么选：（假设各个变量之间相互独立砍断了所有变量之间的依赖关系）
1.Bethe自由能近似
2.平均场定理近似(复杂的多元积分变成简单的多个一元积分)

**inference model是把观测数据变成隐含描述的encoder**

generative model是decoder

decoder 以为任何结构——MLP、CNN，RNN 或其他
想仔细了解变分自编码，变分推断，高斯隐变量的可以阅读下面文献：

Kingma et al. Auto-Encoding Variational Bayes.
Rezende et al. Stochastic Backpropagation and Approximate Inference in Deep Generative Models.
Kingma and Rezende et al. Semi-supervised Learning with Deep Generative Models.
Bishop. Pattern Recognition and Machine Learning.
Young et al. HTK handbook.
Blei et al. Variational Inference: A Review for Statisticians.
Doersch. Tutorial on Variational Autoencoders.
Kevin Frans. Variational Autoencoders Explained.
Sridharan. Gaussian mixture models and the EM algorithm.
Blei et al. Variational Inference: Foundations and Modern Methods.
Durr. Introduction to variational autoencoders .
Xu et al. Variational Autoencoders for Semi-supervised Text Classification.