凯文· 凯利说：AI小数据时代即将来临，那如何落地？
5月16日，《失控》作者、互联网“预言帝”凯文· 凯利（Kevin Kelly）在第四届中国机器人峰会上谈到：人工智能将细分出以创业公司为主导的小数据领域，大公司将会失去优势。
来源：经济观察网，网址：http://www.eeo.com.cn/2017/0517/304795.shtml
未来，AI的小数据时代果真会到来吗？
知史可以知兴替，先回顾一下近些年技术的发展。
历史回顾
2006年1月，Hadoop诞生。这个数据领域划时代的框架，改变了众多企业对数据的存储、处理过程，大大加速了大数据的发展。
2007年1月，苹果CEO史蒂夫·乔布斯发布了iPhone，移动互联网时代开启。智能手机充当了强大的数据采集器，数据以前所未有的速度递增。
2012年10月，多伦多大学Geoff Hinton的学生Alex Krizhevsky、Ilya Sutskever在ImageNet竞赛上，使用深度学习模型一举拿下冠军，还远远拉开与第二名的距离。
从此，GPU运算兴起，以深度学习为代表的神经网络技术开始逐步成为业界的主流。
2014年1月，谷歌收购了英国的人工智能初创公司DeepMind。
2015年12月，微软亚洲研究院视觉计算组在ImageNet竞赛上，利用多达152层的深层残差网络，将系统错误率降低至3.57%（低于人眼识别错误率：约5.1%），以绝对优势夺得冠军。
2016年3月，Google DeepMind开发的AlphaGo，基于深度神经网络（DNN）、强化学习（RL）、蒙特卡洛树搜索（MCTS）等技术，以4：1的总比分战胜了韩国围棋大师李世石。人工智能、深度学习逐渐被外界所认知，成为了大众热议的话题。
大数据与人工智能
这些年，大数据、人工智能几乎成了互联网科技企业的标配。一大波科研人员、工程师、企业家、媒体蜂拥而至，相关的企业、论文、报道都有了急剧增长。
而谈到人工智能，就离不开深度学习；谈到深度学习，就少不了大数据。
深度学习领域，需要的是海量的有标注数据，数据样本从来都不嫌多。在数据稀缺的领域，由于无法进行很好的训练、调参、特征学习，深度学习往往无能为力。
目前公开的有标注数据集，有手写数字数据集-MNIST，图片数据集-ImageNet、COCO、CIFAR-10、CIFAR-100、Open Images，人脸识别领域的数据集-FDDB、LFW等。
但相比工程上深度学习需要的海量数据，还是少的可怜。
同时，互联网巨头、医院、银行等每天产生的标注数据非常可观，可惜他们大多数会选择占为己用、专有、或者是费用及其昂贵。
对于初创团队、高校科研人员而言，如何获取足够多的目标任务域的标记数据，是一大难题和挑战。
小数据
凯文· 凯利在谈到“小数据”的时候，类比了人类小孩识别猫与狗的过程。
“让一个刚会走路的小孩，看几只猫和狗的样子，他马上能知道猫和狗之间的差异”。
那小孩的这种识别能力，人工智能做到吗？
首先研究下，人类所具有的优于人工智能的识别能力，从哪里来。
我们有一个理论：人类对事物（譬如人脸）的识别，存在异族效应（参考下图互动百科的解释，或自行百度）。
异族效应
人类在认知的发展过程中会出现“知觉窄化”的现象，通俗的说，就是对熟悉领域事物的辨识能力，明显高于陌生领域。
譬如我们更熟悉东方面孔，辨识中国人的能力显然会高于辨识美国人。
我们也很熟悉兽类，所以很容易识别猫和狗。但具体辨识猫脸和狗脸的能力，显然远弱于辨识人脸。
用技术的语言来描述，即某一领域的共性特征习得之后，该领域内其他事物的识别能力也会增强。
这种对某一事物或领域的学习，能够应用、迁移到其他事物或领域上的能力，技术上有个专有名词：迁移学习（Transfer Learning）。
迁移学习
正如人类的语言学习过程。
如果一个人学会了汉语，再学日语；或者是学会了英语，再学意大利语，往往后者学习起来会省力的多。
机器学习也应该是如此，要学会举一反三，甚至是推理。迁移学习正是基于这样的需求，才应运而生。
尽管迁移学习对普通大众来说，可能还相对比较陌生（参考下图Google搜索趋势变化）。
目前迁移学习是机器学习领域非常热门的研究课题之一，有很广泛的实际应用价值。
斯坦福教授、前百度首席科学家吴恩达（Andrew Ng）在去年 NIPS 讲座上也曾表示：“迁移学习将是继监督学习之后，机器学习在商业应用中得到成功的下一波动力”。
虽然迄今为止，机器学习最广泛的应用还是在监督学习，其依赖于强大的计算硬件资源、以及海量的标记数据集。
而迁移学习可以让我们实现基于“小数据”，就可以认知、识别新事物的能力，未来必将在各个领域大展身手。
如何实现
迁移学习的实现确实还面临不少困难，各种探索性实现也层出不穷。总体思路如下：
基于标签数据量大的领域，做特征、参数权重的预训练（pre-train），再通过迁移当前领域可复用的特征、参数、或者是领域知识、通用知识，对目标领域进行半监督、无监督学习。
目前使用广泛的深度神经网络，虽然依然没有很好的理论来解释每一层的含义，但还是有一些有迹可循。
譬如卷积神经网络（CNN），我们已经观察到：
较低层卷积层只提取一些低级的特征，如边缘、线条、角等简单几何形状；
较高层的卷积层则从低级特征中迭代捕获更高级的特征，如鼻子、眼睛、尾巴等部位；
最后的全连接层则与特定的分类任务相对应。
基于此，我们可以使用CNN预训练的网络，泛化早期的一些特征（如斑点、边缘、形状，甚至五官、四肢等），达到部分参数、特征的共享。
然后对其后面的层级做调整，就可以应用到其他事物或领域的识别，达到迁移学习的目的。
另外一个可行的方案是，我们可以通过模拟、仿真，来实现迁移学习。
现实世界中，很多领域，如医学、交通，由于代价高昂、危险系数过高等因素，无法很好的收集数据，那么通过网络游戏、虚拟现实等模拟仿真技术来实现数据的采集与训练，再迁移应用到现实世界，无疑是非常不错的思路。
譬如无人驾驶领域，单纯依靠实际道路的驾驶来收集训练数据，是远远不够的。
越来越多的研究人员、工程师，开始借助《侠盗猎车手5》这款游戏，训练无人智能驾驶。
借助计算机模拟器、虚拟现实技术，不但通常的路况可以实现反复测试，一些现实中几乎无法测试的危险场景（如事故场面），也可以通过模拟来实现。
同样，无人机领域，也能从模拟中学习，再迁移到现实世界。
迁移学习的极限，是目标领域只有一个标签样本，甚至所有样本都无标签，就分别得到了 one-shot 以及 zero-shot 学习。
生成对抗网络
“小数据”时代，针对数据量匮乏的问题，还有一项技术非常有价值：生成对抗网络（Generative Adversarial Networks，简称GAN）。
这里，首先聊一下《西部世界》提到的一个词：二分心智。
参考朱利安·杰恩斯于1976年出版的《二分心智的崩塌：人类意识的起源》，远古人类的活动，主要依赖的就是二分心智（bicameral mind）。
二分心智理论认为，人类的心智被分成为两个部分：一个部分是类似“上帝”的神，负责指引；另一个部分负责聆听和服从。
二分心智是一种无意识的心理模式，对行为的产生，是一个没有思考、无意识的过程，所以没法确切的去解释为什么某人会做某事。很多活动可以理解为是本能或上帝的指引驱使的。
随着外界环境的变迁、人类社会的日趋复杂、以及语言的诞生，3000年前，二分心智逐渐坍塌，人类的思考能力与现代自我意识开始被唤醒。
注：二分心智目前仅是一个心理学上的假说
生成对抗网络就有几分类似“二分心智”理论，两者都强调带一点主从关系的两个系统相互作用。
生成对抗网络也许是未来促成机器人意识觉醒的重要推动因素。
生成对抗网络依赖于两个模型：
生成模型（Generative Model），即借助于学习、模拟、仿照、以及数据扩增等技术自动生成数据的模型；
判别模型（discriminative model），即判别生成数据是否符合预期的模型。
生成对抗网络首先会基于生成模型来生成数据样本，再用判别模型来鉴别这个自动生成的样本是否符合预期。通过这样的双方对抗网络，实现互相博弈，共同提升。
譬如音乐作曲，首先生成模型会通过模拟音乐界大师们的作品来自动作曲，然后判别模型会通过一系列的判别方法，来鉴别这些自动创作的音乐作品是否符合预期（或是否优秀），存在不足的，会反馈给生成模型。
生成模型接收到判别模型的反馈后，有则改之，通过调整参数或改进生成算法等，以期在下一轮作曲的过程中创作出更好的音乐作品；
如果反馈有误，也会告知判别模型，可以让判别模型改进自身的判别能力。
如此循环往复，不断相互反馈，促成双方共同提高。
生成对抗网络也将是今后让模型更加稳健，提高模型泛化能力，实现通用人工智能的关键技术。
其他应用场景
对于标记数据稀缺的领域，迁移学习技术都将会有用武之地。
手写字迹识别：一般文字识别的训练数据只有印刷字体和一些大家的书法字体，其他个人的手写数据显然是很少的。利用这些通用数据训练的模型特征，再借助于迁移学习，就可以应用到个体手写字迹的识别。
带口音的语音识别：一般语音识别的训练数据也只有标准口音的数据，其他非标准口音的语音数据显然是比较少的。借助于迁移学习，就有希望让这些非标准口音的人群也能享受到语音识别的便利。
特殊场景下的人脸识别：一般人脸识别的训练数据以光照充足、无遮挡的人脸数据为主，雨雪、夜间等场景下的人脸识别显然会弱些。借助于迁移学习，可以大大改善这些特殊场景下的人脸识别技术。
罕见疾病诊断：显然这个领域，数据极其稀少，有赖于迁移学习等技术提升这种罕见疾病的诊断能力。
画风迁移：前段时间有不少相关APP上线了，Tensorflow、Caffe 等框架也都有对应的开源实现。原理可以参考PDF：利用卷积神经网络实现图像风格迁移
网址：http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf
结语
当然，除了迁移学习，还有不少其他前沿技术可以在“小数据”时代发挥作用。
譬如强化学习（Reinforcement Learning）：
一个自主行动的个体，只告诉它一些目标指令。通过对环境的感知，与来自外界的反馈，来持续不断的改进自身的学习过程。
AlphaGo 就是强化学习成功应用的典范。
尽管这些前沿技术，仍然面临许多挑战，还有很多不尽如人意的地方。
但其巨大的应用前景，有目共睹。
另外，如果真如凯文· 凯利所说，小数据时代来临。
那未来占据人工智能高点的，将会是各个细分领域的使用场景。
用人工智能来做点什么，也许这才是我们最关心的问题，也是我写作此文的目的所在。
如果你想进一步咨询或探讨，可以后台留言，或加入小密圈。
http://t.xiaomiquan.com/RfqFAIE
本文由公众号「世相微语」原创，欢迎朋友圈分享。
关注「世相微语」，希望有机会一起探讨，一起合作。
