哲哲的ML笔记（一到九小结）

2021-03-20 本文已影响0人沿哲

一到九部分学习的主要内容是线性模型与代价函数
$J(\theta)=\dfrac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta( x^i)-y^i)^2$
但通常处理数据时不是单独一个样本，而是将所有样本及其特征存储到矩阵中
比如样本矩阵 $X$ 存储城市的人口
$\begin{equation} X = \left[ \begin{array}{ccc} 6 \\ 5 \\ 8 \\ … \end{array} \right] \end{equation}$
y存储一辆食物卡车一天的利润
$\begin{equation} y = \left[ \begin{array}{ccc} 17 \\ 9 \\ 13 \\ … \end{array} \right] \end{equation}$
参数 $\theta$ 矩阵为
$\begin{equation} \theta = \left[ \begin{array}{ccc} \theta_0 \\ \theta_1 \end{array} \right] \end{equation}$

给 $X$ 矩阵新增一列1，原因参照（九：正规方程）
$\begin{equation} X = \left[ \begin{array}{ccc} 1& 6 \\ 1& 5 \\ 1&8 \\ … \end{array} \right] \end{equation}$

此时 $J(\theta)=\dfrac{1}{2m}(X\theta-y)^2=\dfrac{1}{2m}(X\theta-y)'(X\theta-y)$
由 $\theta_j=\theta_j-\alpha\frac{\partial}{\partial \theta_j} J(\theta)$ ，可得
$\theta=\theta-\alpha\frac{\partial}{\partial \theta} J(\theta)=\theta-\dfrac{\alpha}{m}X'(X\theta-y)$

其中梯度是 $\dfrac{1}{m}X'(X\theta-y)$ 维数是(n+1)m m(n+1) (n+1)*1=n+1，即样本的特征数+1

哲哲的ML笔记（一到九小结）

猜你喜欢

热点阅读