线性模型

1.线性模型

如上述所示，我们称之为广义线性模型。之所以称之为线性模型，因为其参数w和特征x是线性的。之所以称为广义，因为映射g可以是各种类型的映射：线性，非线性，回归，分类。本文主要介绍两种映射模型的求解：线性回归，对数几率回归（非线性分类）。

2.模型参数估计

对模型进行参数估计有两种方式：

• 最小化损失函数（需要认为构建损失函数，然后对于每个样本通过参数计算得到的输出和其真实类别或标记之间的误差越小越好。）
• 最大化对数似然（需要知道后验概率分布，直白的说就是可以用参数将后验概率写出来，然后对于每个样本属于其真实类别或标记的概率越大越好。）

当然很显然，上述两种方式都在最大化或最小化某一个函数，因此最优化方法在机器学习中是及其重要的（梯度下降，牛顿法等等），当时没好好学，对不起谢世杰老师。。。。

3.线性回归

对模型参数w和b求偏导过程如下：

4.对数几率回归（非线性分类）

极大似然法和最小二乘损失函数的异同