机器学习和人工智能入门

读书笔记(机器学习:发展与未来)

2017-06-09  本文已影响0人  StrongLi27
转自360美图

理清一个关系,**人工智能 > 机器学习 > 深度学习 > 神经网络 **

机器学习源自人工智能(Artificial Intelligence)

1956年夏,美国达特茅斯学院,达特茅斯会议标志着人工智能这一学科的诞生

赫伯特•西蒙(1916-2001) 1975年图灵奖
阿伦•纽厄尔(1927-1992) 1975年图灵奖

渐渐地,研究者们意识到,仅有逻辑推理能力是不够的 …

爱德华•费根鲍姆(1936- ) 1994年图灵奖

渐渐地,研究者们发现,要总结出知识再“教”给系统,实在太难了 …

恰好在20世纪90年代中后期,人类发现自己淹没在数据的汪洋中,对自动数据分析技术——机器学习的需求日益迫切

机器学习有坚实的理论基础

Leslie Valiant( ( 莱斯利• 维利昂特) )( ( 1949- - ) ) 2010 年 图灵奖
计算学习理论 Computational learning theory
PAC (Probably Approximately Correct,概率近似正确) learning model [Valiant, 1984]

转自 机器学习:发展与未来

今天的“机器学习”已经是一个广袤的学科领域,事实上,“深度学习”(Deep Learning) 仅是机器学习中的一个小分支。

多种机器学习技术:

  • 深度学习

深度学习兴起

2010年 – 至今 热潮7年
深度学习最重要的作用:表示学习
深度学习何处适用:数据的“初始表示” (例如,图像的“像素”)与解决任务所需的“合适表示”相距甚远

深度学习从技术上来看,就是“很多层”的神经网络
神经网络实质上是多层函数嵌套形成的数学模型

深度学习会不会“一统江湖、千秋万载”?

一统江湖?
不会! 很多学习任务,数据的“初始表示”与“合适表示”没那么远
千秋万载?
鉴古知今:让我们回顾一下神经网络的发展历史

神经网络发展回顾
1940年代-萌芽期: M-P模型 (1943), Hebb 学习规则 (1945)
1958左右-1969左右~繁荣期: 感知机 (1958), Adaline (1960), …
1969年:Minsky & Papert “Perceptrons”

冰河期
1985左右 -1995左右~繁荣期: Hopfield (1983), BP (1986), …
1995年左右:SVM 及 统计学习 兴起
沉寂期
2010左右-至今~繁荣期:深度学习

结论:神经网络是相对最容易利用新增计算能力的机器学习方法
技术:未来未必是深度学习,但应该是能有效利用GPU等计算设备的方法

传统机器学习任务:主要针对封闭静态环境 (重要因素大多是“定”的)

  • 数据分布恒定

机器学习走向实际应用需要解决的共性问题:封闭静态环境 --> 开放动态环境 一切都可能“变”

  • 分布偏移

开放环境下的机器学习:“鲁棒性”是关键!(“好的时候”要好,“坏的时候”不能太坏)
结论:随着人工智能技术取得巨大发展,越来越多地面临“高风险应用”,因此必须有“鲁棒的AI”
任务 :未来开放环境学习任务,鲁棒性是关键

现状:“机器学习”形态是什么? 算法 + 数据

“机器学习”有哪些技术局限?

  • 需要大量训练样本(样本总量少:油田定位,特定类样本少:信用卡欺诈,有标记 (label) 样本少:软件缺陷检测 )

Future:学件 (Learnware) = 模型 (model) + 规约 (specification)

(预训练的)模型+(描述模型的)规约
规约需能够:给出模型的合适刻画(基于逻辑、基于统计量、基于精简数据)

模型需满足:

  • 可重用 (reusable)(学件的预训练模型仅需利用“少量数据”对其进行更新或增强即可用于新任务)

形态 :未来,算法+ 数据 --> 学件

(周志华 著. 机器学习)个人浅见,谨慎参考,免受误导

上一篇 下一篇

猜你喜欢

热点阅读