信仰 3——日常生活中看不到的那些人和事

Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

没有人告诉Geoff Hinton 这些。他在大学里轮换了化学、物理、生理学、哲学和心理学，终于在1972年，进入了爱丁堡大学的人工智能的研究生培养计划。
Hinton 出生在一个在众多领域中均有建树的英国家族的小孩，他们的习惯是追求自己认为最佳的事业。曾曾祖父George Boole 就是一个代表，他发明了代数，这成为了计算机时代的基础，包含了困扰了Rosenblatt 的异或操作；另一个则掌控着维多利亚时代的性俱乐部。他的祖父在墨西哥运营着一个煤矿，他的父亲则是一名昆虫学家：“他认为六条腿的动物要比两条腿的东西有趣得多。”
青少年时期，Hinton 开始对计算机和大脑产生浓厚兴趣。他可以用剃须刀片、六英寸的钉子和铜线在十分钟内设计出一个继电器出来，给他一个小时，他就可以给你做出一个振荡器。
他至今没有变化的观点是：“如果你想了解人类思维是如何工作的，那么就不可以忽略大脑本身。”使用一个计算机来构建简单的模型来看工作的情况就是最显而易见的方法。“这也是我一直的做事方式。”
但这不是一个通常的观点。Hinton 在Edinburgh 大学研究神经网络的唯一一个。这是很艰难的过程。“你看起来很聪明，可为啥要研究这个呢？”很多人就问他这个问题。
Hinton 需要保密地进行研究。他的论文并没聚焦在神经网络上；却是关于计算机可否推断一副图片中是不是包含一个人类的腿部。他第一篇关于神经网络的论文甚至都没有通过同行评审，如果在文中提及神经网络的话；文章需要使用“最优网络”。在他毕业后，他也不能找到全职学术工作。然而，在1979年一次Hinton 组织的会议上，他找到同道中人。
“我们都有这样的信仰，”Terrence J. Sejnowski，一位在Salk研究院的进行生物研究随后成为Hinton的长期合作者的计算神经生物学家，他说，“这是一个盲目的信仰。我们不能证明数学上或者其他方面任何东西。”但是当他们看到基于规则的人工智能在视觉方面的挣扎，他们知道自己的方面有这方面的优势。Sejnowski 说“唯一有效地解决这类问题的系统就是大脑。”
Hinton 总是那个挑战权威的那个人，但这也并不让人奇怪，早在1980年代，他在加州大学圣地亚哥分校找到了一个博士后职位，在两位心理学家David E. Rumelhart 和 James L. McClelland 的指导下进行研究工作。Hinton 说：“加州这里的学者认为可能有不止一种有趣的想法。”Hinton，反过来，给出了一个唯一的计算思维。“我们觉得Geoff 是相当有洞察力的。”McClelland 说，“他讲的东西可能会打开新的世界。”
在一个温暖舒适的会议室，他们每周都会举办一个小会议，就着咖啡，他们一起探寻将训练错误从多个层间进行回退的方法。Francis Crick，DNA 结构的发现者之一，听说了他们的工作，坚持要加入，他那高大的身材看起来快要把整个房间的空间都占据了，尽管还是坐在那个低座的沙发中。“我觉得他就像《The Cat in the Hat》中得那只鱼儿。” 给他们讲解研究想法是否生物可行的McClelland 如是说。
Hinton 觉得这个研究组太过受限在生物学中。如果神经元不能向后传播信号该怎么办？他们不能将自己限制在大脑本身上。这其实是一个数学问题，Hinton 认为，也就是获得一个损失函数的梯度的问题。他们认识到，设计出来的神经元不能够是开关转换的。如果你将网络的计算看做一个沙漠的地貌话，这些神经元就如同沿着陡峭悬崖进行滑落；并且只有一个下落路径。如果他们把这些东西看做一个更加优雅的技巧——一个sigmoid 函数——那么这些神经元就可以当做一个阈值判断器，但是信息可以重新恢复。
在这个正在进行时，Hinton 不得不离开圣地亚哥。计算机系决定不再给他一个职位。他回到了英国，干着一份无聊的工作。但在某一天晚上，他被一个来自Charlie Smith 的男人的电话吵醒。
“你不认识我，但我知道你。”Smith 告诉Hinton，“我为System Development Corporation 工作。我们需要资助一个长久的前瞻性的研究项目。我们尤其对那些可能并不可行或者不能够运行很久的项目感兴趣。我曾经读过你的一些论文。
Hinton 因此获得35万美元的资助。后来他在知道这个项目的起源：这是兰德公司的一个非盈利性子公司在设计核导弹袭击的软件中获得的收益。政府抓住了这个梗，最后决定给他们付薪水或者把钱散了。(The government caught them, and said they could either pay up or give the money away—fast. )这个授权让Hinton 得到更加满意的报酬。
回到了圣地亚哥，Rumelhart 继续进行他们的算法的研究，这个技术也就是著名的Back Propagation。当这个研究完成后，他模拟出了击败Rosentblatt 的异或操作。他让神经网络运行了一整夜。
第二天回来时，它已经学习完毕了。
===