Deep Learning
Abstract: Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the representation in each layer from the representation in the previous layer. Deep convolutional nets have brought about breakthroughs in processing images, video, speech and audio, whereas recurrent nets have shone light on sequential data such as text and speech.
原文链接
2015年深度学习的三个大佬给出的深度学习的一篇综述文章，主要着力介绍了监督学习，反向传播用于训练多层网络结构，卷积神经网络，用深度卷积神经网络理解图片，分布式表示(distributed representations)和语言处理，循环神经网络，和深度学习的未来。
深度学习的方法有着多层次特征的特征学习方法。
神经网络第一层学习的一般是一些在图片的特定方向和位置上某些边的出现和不出现；第二层是发现边的特殊的排列而构成的图案（motifs或者称为纹理）；第三层可能将这些图案组成大的组合，这些组合对应的是熟悉的对象的部分（familiar object）;之后的层可以通过组合这些部分，来检测对象。
机器学习的常见形式就是监督学习。深度学习的关键优势在于，通用的学习程序，自动的学习好的特征。好的特征，是指易于分类，而又对不相关的部分不变的特征。拥有5到20层深度的多层非线性层，一个系统能够实现相当错综复杂的函数，并且对小微的细节敏感，而对很多不相关的变量不敏感。
文章重点介绍了反向传播的算法计算过程，反向传播算法对于深度学习的重要性，不言而喻。
反向传播网络再次受到关注是2006年，以重构图片为目标来训练的无监督学习过程。这样利用了大量无标签的数据同时，合理的初始化了深度网络的数值。对于小数据集来说，这种无监督的预训练过程能防止过拟合，并且在标签样本很少的情况下能更好的泛化。
卷积神经网络架构的设计的原因：1.在像图片之类的数组数据中，局部的数值组经常是高度相关的，形成了有特点而易于检测到的局部图案；2.对于图片或者其他信号的局部统计信息是对于位置不变的。
卷积层的职责在于发现前一层的特征的局部联系；池化层的指责是将语义相似的特征合并成一个。
AlexNet使得计算机视觉和机器学习重新接受卷积神经网络，它的成功主要有：高效的使用GPU，ReLU，新的正则化技术dropout，通过变化已有的图片来创造更多训练数据集的技术。
循环神经网络本来设计目的就是学习长期的依赖性，但是理论和经验的证据表明它很难储存很长时间的信息，这样就有了LSTM。
对于深度学习未来的展望：无监督学习的重要性，长远来看，虽然监督学习在现在取得了大量成功，但是无监督学习才是未来，毕竟无监督学习更符合动物学习的过程，给的例子是，我们是通过观察来发现世界的结构，而不是通过被告知所有对象的名字（我这里觉得，这个例子更接近zero-shot or few shot learning）;人类视觉是一个主动的过程，是在一个连续采样的过程，因此应该期待卷积神经网络，与循环神经网络集合，并采用强化学习(reinforcement learning)；自然语言理解部分，使用RNNs来理解句子和整个文档，当它们学习一次关注一部分的选择性注意力的策略的时候，会变得更好；最后就是，希望有将特征学习和复杂推理相结合的工作，推进AI的进步。
