西瓜书第3章线性模型学习笔记

2018-09-06 本文已影响87人 Spareribs

第3章线性模型

3.1 基本形式

线性模型：
$f(x) = w_1x_1 + w_2x_2 + w_3x_3 + ··· + w_dx_d + b \tag{3.1}$
向量形式表示线性模型：
$f(x) = w^Tx + b \tag{3.2}$

3.2 线性回归

线性回归试图学得：
$f(x_i) = wx_i + b，使得 f(x_i)\simeq y_i \tag{3.3}$
均方误差最小化： $w^*$ ， $b^*$ 表示 w 和 b 的解
$\begin{eqnarray*} (w^*,b^*) = {argmin \atop (w, b)}\sum_{i=1}^m(f(x_i) - y_i)^2\\ = {argmin \atop (w, b)}\sum_{i=1}^m(y_i - wx_i - b)^2 \end{eqnarray*} \tag{3.4}$

(#TODO此处应该有求解过程)

3.2 线性回归

线性回归模型：
$y = w^Tx + b \tag{3.13}$
对数线性回归模型：
$lny = w^Tx + b \tag{3.14}$
广义线性回归模型：
$y = g^{-1}（w^Tx + b）\tag{3.15}$

3.3 对数记录回归

单位阶跃函数：
$y=\begin{cases} 0, \quad z < 0 \\\\ 0.5, \quad z = 0;\\\\ 1, \quad z > 0 \end{cases} \tag{3.16}$
对数几率函数：
$y = \frac{1}{1 + e^{-z}} \tag{3.17}$
对数几率模型将对数几率函数代入（3.15），即是 $w^Tx + b$ 代入 z，得到：
$y = \frac{1}{1 + e^{-(w^Tx + b)}} \tag{3.18}$
类似（3.14）变化得到：
$ln{\frac{y}{1-y}} = w^Tx + b \tag{3.19}$
几率：反应作为正例的可能性
$\frac{1}{1 -y} \tag{3.20}$
对数几率：
$ln \frac{1}{1 -y} \tag{3.21}$