ok，这次打算重新刷一遍cs229，也强迫自己做个记录吧，一直都挺佩服那些能把技术文章写得通俗易懂的大神们....

从第二章线性代数开始吧。

目录：

1. 模型的描述和代价函数

2. 梯度下降

3. 线性模型的梯度下降

1. 模型的描述和代价函数

使用误差平方和来作为损失函数，最小化参数

2. 梯度下降

直观地理解梯度下降：

1）只包含一个参数：

目标是找到一个, 使得损失函数最小。可以看到是凸函数，可以求得全局最小点。

（凸函数：简单的定义是，没有局部最小值，可以用随机梯度下降求得全局最小值的函数形式，像碗状）

2）两个参数：

学会看等高线图

由于初始化的位置不同，可能陷入局部最小点

参数需同时更新

批梯度下降

3. 线性模型的梯度下降

求导的基本功还得再扎实细心些

满足凸函数