线性回归与逻辑回归

2018-03-23 本文已影响0人 tongues

线性回归可以预测多输出值，其本质为矩阵变换A*B=C；
牛顿法要求函数是凸函数或局部凸函数，否则可能出现二阶为负（为解决该问题产生拟牛顿法），牛顿法与梯度下降区别：梯度下降的学习率为固定，牛顿法在形式上为二阶导的倒数。牛顿法更快收敛，但计算海瑟矩阵很消耗资源；
逻辑回归为对数线性模型，广义线性模型；
逻辑回归与softmax回归可以看成是全连接没有隐含层的神经网络；