要准备毕设课题的东西啦。以前导儿都是用贝叶斯网络来进行态势评估的，今年她想做一些新的研究，想通过大热的深度学习来做态势评估。于是从最基础的开始学起啦！刚刚在网上买了几本书，都在路上了~在书本到来之前，我想先预热一下，在网上找到一个适合入门者学习的系列文章：深度学习之美（入门系列），文章作者：张玉宏（著有《品味大数据》、该文节选自《深度学习之美》（最通俗易懂的深度学习入门）2018年7月出版）。读了一小章之后，觉得写的非常赞~内容生动有趣、又非常的简明扼要，非常适合入门选手。

        接下来，就做一下这个系列文章的笔记~下文中出现的斜体字摘录自原文。

   1一入侯门“深”似海，深度学习深几许

        先对“深度学习”这个词做一个解读。

        首先，什么是学习呢？

        著名学者赫伯特·西蒙教授（Herbert Simon，1975年图灵奖获得者、1978年诺贝尔经济学奖获得者）曾对“学习”给了一个定义：“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。

        所以，学习的核心，其实就是改善性能。

        接下来的问题，什么是机器学习？

        对于某类任务（Task，简称T）和某项性能评价准则（Performance，简称P），如果一个计算机程序在T上，以P作为性能的度量，随着很多经验（Experience，简称E）不断自我完善，那么我们称这个计算机程序在从经验E中学习了。

        比如，我在做电台（T），它的性能评价准则是收听量（P）~（嘻嘻，只是打个比方，其实我不觉得收听量完全代表电台的好坏，有的时候某一期收听量比较低，可是我还特别特别喜欢，我觉得只是没有遇到懂得欣赏它的人呢！）

        对于一个学习问题，我们需要明确三个特征：任务的类型，衡量任务性能提升的标准 以及 获取经验的来源。

        接下来，我们来看一看，学习从下面两个维度（统计和推理）上可以分成四类：

        传统的机器学习属于第II象限，深度学习属于第III象限。

        深度学习和传统的机器学习有什么不一样的地方呢？

        关键就在于特征选取这个步骤，特征选取的好了，输出结果就越准确，特征选取的不好，输出结果偏差则越大。

        传统的机器学习是人工的去选取合适的特征：

        经典机器学习（位于第Ⅱ象限），在哲学上，在某种程度上，就可归属于还原主义。传统的机器学习方式，通常是用人类的先验知识，把原始数据预处理成各种特征（feature），然后对特征进行分类。

        然而，这种分类的效果，高度取决于特征选取的好坏。传统的机器学习专家们，把大部分时间都花在如何寻找更加合适的特征上。因此，早期的机器学习专家们非常苦逼，故此，传统的机器学习，其实可以有个更合适的称呼——特征工程（feature engineering）。

        而深度学习则不一样，是由神经网络去选取数据的特征：

        再后来，机器学习的专家们发现，可以让神经网络自己学习如何抓取数据的特征，这种学习的方式，效果更佳。于是兴起了特征表示学习（feature representation learning）的风潮。这种学习方式，对数据的拟合也更加的灵活好用。于是，人们终于从自寻“特征”的苦逼生活中解脱出来。        

        但是，机器自己学习出来的特征，不如人类自己人工选取的特征那么容易理解，甚至完全超出了人类可以理解的范畴，于是，为了让机器自己学习的性能更好，人类就依据自己的经验，进行大量重复的网络参数调整。

        所以，网络逐层深入，就有了深度学习啦：

        再后来，网络进一步加深，出现了多层次的“表示学习”，它把学习的性能提升到另一个高度。这种学习的层次多了，其实也就是套路“深了”。于是，人们就给它取了个特别的名称——Deep Learning（深度学习）。

        深度学习的学习对象同样是数据。与传统机器学习所不同的是，它需要大量的数据，也就是“大数据（Big Data）”。

        文章还提到了知乎中有个用户用恋爱的比喻来解释机器学习，很有趣~

        我也根据自己的理解编一下这个例子对照着深度学习来理解吧，哈哈~

        一个姑娘身上的特征：相貌美丽、性格好、......，如果我是那个小伙子，又奔着结婚去，那么性格好这个特征对于我来说就比较重要，于是，我赋予了性格这个特征比较高的权重，相貌和其他权重稍低，这个姑娘就吸引了我。（初恋期/输入层）。在我们相处的过程中，爱情遇到生活，自然有了柴米油盐酱醋茶，需要考虑到更多更多的因素，比如她的厨艺高低，这个时候我们就要进行调参啦，厨艺的参数调高啦，其他特征的参数也有了一些变化~当然，调参可不是一次就可以的哦，需要进行很多次很多次，在不同特征之间的权衡，然后两个人经过长久的相处，经历过的磨合也越来越多。（磨合期/隐藏层）经过漫长的磨合，两个人如果磨合的好呢，就会有一个好的输出结果，那就是：结婚啦！如果没有磨合好，结果也会不尽如人意。（稳定期/输出层）

        图示：

        由上面这个例子，最后两个人能不能走向婚姻，得到一个圆满的“输出结果”，很大程度取决于两个人磨合的怎样呢，也就是深度学习的过程~

        OK，搬运一下文章的小结：

        在本小节，我们回顾了“机器学习”的核心要素，那就是通过对数据运用，依据统计或推理的方法，让计算机系统的性能得到提升。而深度学习，则是把由人工选取对象特征，变更为通过神经网络自己选取特征，为了提升学习的性能，神经网络的表示学习的层次较多（较深）。

    2人工“碳”索意犹尽，智能“硅”来未可知

        上节课只是对深度学习的概念泛泛而谈，这节课我们进行更全面深入的了解。既然要学习深度学习，那就不得不提人工智能。科学家一直以来都在研究人脑，渴望仿制人脑，这其实就是我们当下大热的领域——人工智能。人工智能的范畴非常广，包括：        

        我们看到，机器学习是人工智能的一个研究领域，而深度学习是机器学习的一种研究方法/技术。

        在这张图里，人工智能的各个分支都是泾渭分明的，而实际上不是的，有的分支之间是相互联系、不可分割的。比如，深度学习也属于无监督学习，语音识别、计算机视觉等领域也涉及到了深度学习。

        深度学习是高度数据依赖型的算法，它的性能通常随着数据量的增加而不断增强，也就是说它的可扩展性（Scalability）显著优于传统的机器学习算法。

        所以，当数据量不够大的时候，深度学习的效果不见得会比传统机器学习的好。只有数据量足够大的时候，才能体现出深度学习的优势来。

        不论是机器学习，还是作为它的延伸的深度学习，其实都是由下面两个阶段组成的：

        前者主要使用了“归纳”，而后者更侧重于“演绎”。

        “归纳”和“演绎”这两个步骤相辅相成，缺一不可。

        机器学习的形式化定义：

        根据台湾大学李宏毅博士的说法，所谓机器学习，在形式上，可近似等同于在数据对象中，通过统计或推理的方法，寻找一个适用特定输入和预期输出功能函数（如下图所示）。习惯上，我们把输入变量写作大写的X ，而把输出变量写作大写的Y 。那么所谓的机器学习，在形式上，就是完成如下变换：Y= f(X) 。

        所以，机器学习近似等于找一个好用的函数。

        我们看到，每个具体的输入，都是一个实例（instance），它通常由特征向量（feature vector）构成。在这里，所有特征向量存在的空间称为特征空间（feature space），特征空间的每一个维度，对应于实例的一个特征。

        在寻找这个好用的函数的过程中，我们就需要一个评估系统来评估这个函数的好坏，并且在这个过程中还伴随着不断的优化和改善（对数据的训练）。如果这个学习的过程实在机器上进行的，那就是机器学习，哈哈~

        具体说来，机器学习要想做得好，需要走好三大步：

        （1） 如何找一系列函数来实现预期的功能，这是建模问题。

        （2） 如何找出一组合理的评价标准，来评估函数的好坏，这是评价问题。

        （3） 如何快速找到性能最佳的函数，这是优化问题（比如说，机器学习中梯度下降法干的就是这个活）。

        OK，说完深度学习的爸爸机器学习，下面我们说深度学习所用到的神经网络。

        神经网络是什么呢？

        芬兰计算机科学家Teuvo Kohonen的定义（这老爷子以提出“自组织神经网络”而名扬人工智能领域）：“神经网络，是一种由具有自适应性的简单单元构成的广泛并行互联的网络，它的组织结构能够模拟生物神经系统对真实世界所作出的交互反应。”

        在人工智能的领域，有两个主流门派，第一个是符号主义门派，它们的核心方法理念是：自顶向下设计规则，然后通过各种推理，逐步解决问题。另一个门派是连接主义门派，他们试图编写一个通用模型，然后通过数据训练，不断改善模型中的参数，直到输出的结果符合预期。他们模拟的就是人的神经网络，即人工神经网络，这个网络的升级版，就是深度学习。

        人工神经网络最“牛逼”的地方在于，它可以在理论上证明：只需一个包含足够多神经元的隐藏层，多层前馈网络能以任意精度逼近任意复杂度的连续函数。这个定理也被称之为通用近似定理（Universal Approximation Theorem）。这里的“Universal”，也有人将其翻译成“万能的”，由此可见，这个定理的能量有多大。换句话说，神经网络可在理论上解决任何问题，这就是目前深度学习能够“牛逼哄哄”最底层的逻辑（当然，大数据+大计算也功不可没，后面还会继续讨论）。

        小结：

        在本小节中，我们首先谈了谈人工智能的“江湖定位”，然后指出深度学习仅仅是人工智能研究的很小的一个分支，接着我们给出了机器学习的形式化定义。最后我们回答了为什么人工神经网络能“风起云涌”，简单来说，在理论上可以证明，它能以任意精度逼近任意形式的连续函数，而机器学习的本质，不就是要找到一个好用的函数嘛？