机器学习

任何一个算法首先要j建模（假设一个函数空间）
y = wx + b w和b是未知的
然后通过一种机制利用训练数据选择一个最优的函数f出来
利用损失函数

1.构造函数
使损失函数最小

两个方法求解：a.最小二乘法（损失函数是一个二次函数） b. 梯度下降

牛顿法（求二阶导）

过拟合 某些特征的权重过大

L2正则 岭回归

在原来最小二乘估计中，加入一个小扰动 ，使原先无法求广义逆的情况变成可以求其广义逆，

岭回归可以让系数变小 避免过拟合

拉索回归可以进行特征选择， 可以让一些特征权重为0 所以可以用来做特征选择

多项式回归 （核的思想）
慎用二阶
阶数不能过大
意义在于提高模型复杂度

神经元 就是逻辑回归
为什么要用激活函数，将线性关系转化成非线性

penalty 正则化
并