3.1分类和表达式

2019-08-06 本文已影响0人 Yuanshuo

The core values of Chinese socialism

分类

逻辑回归算法(Logiistic Regression)目前最流行，使用最广泛地一种学习算法。
使用分类算法的例子：

Email的垃圾邮件分类问题：区分邮件是否为垃圾邮件。
肿瘤分类问题：区分肿瘤是恶性还是良性。
在所有这些问题中，预测的变量 y 可以去两个值：0、1。

$y\in {0, 1}$

0：“负类” 1："正类"

二元分类

逻辑回归算法(Logiistic Regression)性质就是适用于 y 值为离散值的情况，并且它的输出值保证在 0 到 1 之间：

$0\le h_{\theta}(x)\le1$

假设函数表达式

S型函数(Sigmold Function) 逻辑函数(Logistic Function)：

S型函数

因此得到：

$\begin{align*} h_{\theta}(x) &= g(\theta^{T}x) \\ &= \frac{1}{1+e^{-\theta^{T}x}} \end{align*}$

对假设函数的进一步理解

$h_{\theta}(x) = P(y=1|x;\theta)$

在给定的特征x的情况下，y=1 的概率，其中θ为参数。

决策边界(Decision Boundary)

假设函数：

$h_{\theta}(x) = g(\theta^{T}x)$

$g(z)=\frac{1}{1+e^{-z}}$

对应的图像：

逻辑函数

如果 $h_{\theta}(x)\ge0.5$ ，认为 y = 1
如果 $h_{\theta}(x)\lt0.5$ ，认为 y = 0

根据图片得出：

当 $z\ge0$ 时， $h_{\theta}(x)\ge0.5$ ，满足 y = 1
当 $z\lt0$ 时， $h_{\theta}(x)\lt0.5$ ，满足 y = 0

即：

当 $\theta^{T}x\ge0$ 时，y = 1
当 $\theta^{T}x\lt0$ 时，y = 0

例1

Decision Boundary

假设如上训练集，假设函数为：

$h_{\theta}(x)=g(\theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2})$

假设已经拟合好数据，并且得到 $θ_0 = -3$ 、 $θ_1 = 1$ 、 $θ_2 = 1$ ，意味着：

$θ= \begin{bmatrix} -3 \\ 1 \\ 1 \end{bmatrix}$

可得到：

当 $-3 + x_{1} + x_{2} \ge 0$ 时，满足 y = 1
当 $-3 + x_{1} + x_{2} \lt 0$ 时，满足 y = 0

因此，当 $x_{1} + x_{2} = 3$ 时，可得到一条直线：

决策边界

上面绘制的 $x_{1} + x_{2} = 3$ 这条直线被称为决策边界。

实例2

Non-linear decision boundaries

假设如上训练集，假设函数为：

$h_{\theta}(x) = g(\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+\theta_{3}x_{1}^{2}+\theta_{4}x_{2}^{2})$

假设已经拟合好数据，参数向量：

$θ= \begin{bmatrix} -1 \\ 0 \\ 0 \\ 1 \\ 1 \end{bmatrix}$

这也说明，若期望 y 满足 y = 1，那么 $x_1$ ， $x_2$ 需满足：

$-1 + x_{1}^{2} + x_{2}^{2} \ge 0$

决策边界

上面绘制的 $x_{1} + x_{2} = 3$ 这条直线被称为决策边界。

对于更复杂的假设函数：

$h_{\theta}(x) = g(\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+\theta_{3}x_{1}^{2}+\theta_{4}x_{1}^{2}x_{2}+\theta_{5}x_{1}^{2}x_{2}^{2}+\theta_{6}x_{1}^{3}x_{2}+…)$

它的决策边界可能会是一些有趣的形状：

决策边界

上一篇下一篇

猜你喜欢

热点阅读