深度学习知识点汇总-机器学习基础（6）

2019-05-10 本文已影响0人深度学习模型优化

2.6 逻辑回归与朴素贝叶斯有什么区别？

线性回归的样本的输出，都是连续值， $y\in (-\infty ,+\infty )$ ，而逻辑回归中 $y\in (0,1)$ ，只能取0和1。

逻辑回归与线性回归的关系：

对于拟合函数也有本质上的差别：

线性回归： $f(x)=\theta ^{T}x=\theta _{1}x _{1}+\theta _{2}x _{2}+...+\theta _{n}x _{n}$

逻辑回归： $f(x)=P(y=1|x;\theta )=g(\theta ^{T}x)$ ，其中， $g(z)=\frac{1}{1+e^{-z}}$ 为sigmoid函数。

由上可知，线性回归的拟合函数，是对 $f(x)$ 的输出变量 $y$ 的拟合，而逻辑回归的拟合函数是对为类别1样本的概率的拟合。

$\theta ^{T}x=0$ 就相当于是1类和0类的决策边界：

当 $\theta ^{T}x>0$ ，则y>0.5；若 $\theta ^{T}x\rightarrow +\infty$ ，则 $y \rightarrow 1$ ，即y为1类;
当 $\theta ^{T}x<0$ ，则y<0.5；若 $\theta ^{T}x\rightarrow -\infty$ ，则 $y \rightarrow 0$ ，即y为0类;

在线性回归中 $\theta ^{T}x$ 为预测值的拟合函数；而在逻辑回归中 $\theta ^{T}x$ 为决策边界。