Lecture 1: 学习问题

机器学习问题

• 基于数据（training data）运用算法来建立一个model(function G),以达到function G和未知的存在的function F(上帝之手，决定某一个观测)生成的结果近似（类别或连续）

  
  机器学习过程图示

Tips for machine learning

• 成功的前提：数据中存在pattern
• 应用的必要条件: Pattern 不可通过数学直接计算出

Lecture 2: Learning feasible

概率论复习

• 对于一个抽样样本，当数目足够大时，事件x的发生的频率(v)接近于其概率(μ)，即两者的差在一个可容忍的范围内(ε)

  
  

Lecture 3: Linear models

Input representation

• eg: 对于一个16*16像素的手写数字的图像，Input有256个，简单线性模型的话有257个参数，运算量大，可以提取有效信息，如本例中图像黑色像素的密度、对称性，即Features

Features: Extract useful information

Linear classification

• PLA(perceptron learning algorithm)
  • 对于线性不可分的数据，PLA不适用，迭代将不会收敛，数据的分类将是最后一次迭代的分类效果，所以不是不一定是最好的
• Pocket algorithm：PLA的优化，即再迭代过程中只保留最好的hypothesis

Linear regression

• Measure the error

线性回归中，估计模型通常使用squared error

• 线性回归求解

  1. 如下图，将Xw视为一个n行w列的矩阵，求解是的squared error最小的w

     
     线性回归求解运算

线性回归求解全貌

• 线性回归应用于linear classification
  1. 线性回归可以学习获得一个实值(R)函数;
  2. 分类问题即binary value，而binary value也是实值

Nonlinear transformation

系数W是线性的 ？？

Nonlinear transformation

Q&A

关于Ein 样本内误差的解释

• 对于回归来讲，Ein 在training sample(相对于整体，该部分样本即是抽样样本)，即Measure如squared error的均值，而对于样本外误差，如使用model去回归，则样本外误差是真实的期望值和实际值的差别

• 对于分类来讲，样本内误差即错误分类的频率（frequency of the error), 而对于样本外误差（probability of the error），

  
  抽样样本误差/Training sample Error

Lecture 4: Error and Noise

Error measure

Measure how well of h(训练函数) approximate f(事实函数，上帝之手)

误差的计算：首先是逐点计算，具体体现方式和误差的表现形式有关，如squared error即点差值平方，而分类问题中则是错分的频率
pointwise error -> overall error

• 未知的概率分布函数P，产生training sample，用该函数来评价最终训练函数g

  
  

怎样选择error measure