一些概念的理解

首先，机器学习的基本框架大都是模型、目标和算法。
对于一个数据集，首先要根据数据的特点和目的来选择合适模型。即是什么回归问题。
选择了模型，那么接下来的问题是：怎么才能让这个模型尽可能好的拟合或者分类数据呢？那么就需要有目标，所以要定下模型的cost function J(theta)。
定好目标函数后，我们还要有方法来达到目标，这里的方法就是下述的算法——最优化算法。包括常用的梯度下降法(最速下降法)、牛顿法、拟牛顿法等。这样，一个机器学习算法就算完整了，因为可以用这些最优化算法来 min J(theta) 求出 theta.

1. 确定问题类型

主要分为：分类问题，聚类问题，回归问题和降维问题。

</br>
回归问题
回归其实就是对已知公式的未知参数进行估计。

• 线性回归
  可以对连续值做预测。
• 逻辑回归
  用于二值预测。

</br>

2. 确定目标函数

• 最大似然估计-目标函数
  是从概率意义角度去看问题的。
  就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
  因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。
  此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。

• 最小二乘法(平方最小)-目标函数
  是从函数形式角度去看问题的。
  找到一个（组）估计值，使得实际值与估计值的距离最小。
  本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。
  这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。
  线性回归问题的cost function就是最小二乘，即：

</br>
注： 误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。

</br>

3. 优化算法

• 梯度下降-优化算法
  最简单的梯度下降算法由两个函数，三个变量组成：
  -- 函数1：待求的函数
  -- 函数2：待求函数的导数
  -- 变量1：当前找到的变量，这个变量是“我们认为”当前找到的最好的变量，可以是函数达到最优值（这里是最小值）。
  -- 变量2：梯度，对于绝大多数的函数来说，这个就是函数的负导数。
  -- 变量3：步长，也就是沿着梯度下降方向行进的步长。
  </br>
  步骤：
  
  </br>
  Matlab代码：

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier}p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; min-height: 12.0px}p.p3 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #25992d}p.p4 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #25992d; min-height: 12.0px}p.p5 {margin: 0.0px 0.0px 0.0px 0.0px; font: 10.0px Courier; color: #0433ff}p.p6 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Courier; min-height: 14.0px}span.s1 {color: #0433ff}span.s2 {color: #000000}span.s3 {color: #b245f3}span.s4 {color: #25992d}

function [k ender] = steepest(f,x,e)
 
% f:function; x:begin pt; e:stop error
 
syms x1 x2 m; %m is learning %
d=-[diff(f,x1);diff(f,x2)];  %diff x1 and x2
flag=1;  %循环标志
k=0; %迭代次数
while(flag)
    d_temp=subs(d,x1,x(1));      %将起始点代入，求得当次下降x1梯度值
    d_temp=subs(d_temp,x2,x(2)); %将起始点代入，求得当次下降x2梯度值
    nor=norm(d_temp); %范数
    if(nor>=e)
        x_temp=x+m*d_temp;            %改变初始点x的值
        f_temp=subs(f,x1,x_temp(1)); %将改变后的x1和x2代入目标函数
        f_temp=subs(f_temp,x2,x_temp(2));
        h=diff(f_temp,m);  %对m求导，找出最佳学习率
        m_temp=solve(h);   %求方程，得到当次m
        x=x+m_temp*d_temp; %更新起始点x
        k=k+1;
    else
        flag=0;
    end
end
ender=double(x);  %ÖÕµã
end

• 牛顿法-优化算法

• 拟牛顿法-优化算法