结构化机器学习项目杂谈

学自吴恩达的深度学习课程

机器学习性能

• 开始会上升很快，但当超过人类的表现的时候，速度开始变的平缓
• 性能会有一个理论上界，就是 Bayes optimal error ,不可能被超越

当机器的性能比人类差的时候，可以：

• 从人类获取更多的标记数据
• 人工误差分析，了解为什么人类能够做对，机器就不能
• 更好的分析偏差和方差

端到端的深度学习

• 用单个神经网络代替多个学习阶段
• 语音识别 --- 提取特征 --- 单词元音 --- 单词 --- 文本
  深度学习end to end 直接从 input 到 output , 即从audio 到 text
• 有一个前提，数据要足够多，不然旧的系统获取表现的更好
• 有时分成多步可能更好，比如 人脸识别， 先识别出人脸的位置，再识别出人脸的身份。（分出的两个任务都有足够的训练数据）
• 对于无人驾驶来说，单纯的end to end 是不足以去学习到比较好的效果的，多阶段的方式或许是更好的选择。

Pros：

• 让数据直接说话，没有人类的干预
• 更少的人工设计

Cons：

• 需要大量的数据
• 排除了可能有用的手工设计组件（手工的就是直接将知识注入学习系统当中 ）

Choice：

• 关键的问题：是否有足够的数据去学习从x 到 y 的end to end 的映射。

多任务学习

• 一个网络进行多个任务
• 相比较之下，迁移学习的使用更多，都是因为数据量不够，需要的其他的任务学到的知识作为补充。
• 训练时，不管数据的标签是否完整，都可以进行训练

什么时候有意义：

• 一系列的任务能够共享一些低层次的特征
• 每一个任务的数据量很接近，如果要专注于多个人任务中的一个任务时，其他的任务加起来的数据量要必须大的多，才能对单个任务提供有用的知识。（类似于迁移学习）
• 可以训练一个足够大的神经网络来同时在所有任务上取得好的表现
• 多任务学习会降低性能的唯一情况是：神经网络还不够大？？？，如果足够大的神经网络，性能很少会比单任务神经网络低