深度学习笔记

[问题]

机器学习基础部分

1.如何构建机器学习算法？

• 特定的数据集
• 代价函数
  可含有附加项，如正则化项，如权重衰减

由于不能够实际计算出代价函数，可使用近似其梯度的方法，用迭代数值的方式来优化近似最小化的目标

• 优化过程
• 模型

2.深度学习可以发力的方向

• 语音识别
• 对象识别

传统机器学习算法在这类问题上泛化能力严重不足，从而成为了深度学习发展的动机
特别是在处理高维数据时在新样本上的泛化特别困难，因为涉及到巨大的计算代价

3.维数灾难怎么办？

• 隐式先验
• 平滑先验
• 局部性先验
• 平滑学习
• 局部核

通过额外假设来生成数据的分布来建立区域间的依赖关系，即用现有的数据来生成指数级的区间数据？
也是深度学习的一个核心思想

4.流形学习

1.流形假设：现实生活中的主流数据的分布是高度集中的，且与均匀的噪声数据能够高度区别开来
2.至少能够非正式地想象这些邻域和变换
3.使用流形中的坐标而非R中的坐标系来标识机器学习数据更为自然

深度前馈网络部分

1.深度前馈网络

• 与神经科学的关系
• 与网络的关系 → 链式结构
• 用线性模型来理解前馈网络

线性模型的明显缺陷：模型的能力被局限在线性函数中，且无法理解任何两个输入变量间的相互作用
怎么办？不讲线性模型用在x本身，而是用在一个变换后的ϕ(x)函数上；ϕ是一个非线性变换；可以使用核技巧；可以认为ϕ提供了一组描述x的特征

如何选择映射ϕ？