机器学习--逻辑回归

1.分类 vs 回归

预测分类，预测值

2.p（y|x）条件概览

逻辑回归用于二分类或多分类：sigmod函数将x（负无穷--正无穷）映射到0到1，以满足概率0到1的要求，sigmod（Wx+b)

3.决策边界（decision boundary）

逻辑回归是线性分类器，由p（y=0|x）==p（y=1|x）推导出边界，即为wx+b，故为直线

4.目标函数（object function）--最大化目标函数，以求解最优解

将整个数据集中的样本均用上

逻辑回归的目标函数为MLE，最大似然函数

argmax（π（p（yi|Wxi+b）））即使π式最大的参数w，b

5.Minimizing the function

凸函数，最优化算法

循环、迭代算法

6.梯度下降与逻辑回归的求解

y(t+1) = y(t) - yita*delta-y(t)

对mle对w、b分别求导，

然后随机初始化值，循环迭代进行，直到

参数或差值不再变化（变化很小）；校验集准确性发生变化，从一直变大到由大变小了

7.随机（随机选择一个样本）梯度下降法，更常用

避免每次迭代时，都需要读取所有样本数据，增加对每个样本更新参数的操作 

for i in [0: t]

    shuffle n个样本

    for j in [1:n]

        update w，b

原始的梯度下降和随机梯度下降，两个极端：batch vs single，所以有折中方案，mini batch，每次考虑一部分样本，batch的比较稳定，single的有的噪声样本会导致波动