深度学习概念之✨线性单元!
2020-12-16 本文已影响0人
罗蓁蓁
深度学习概念之✨线性单元!其实就是把感知器的阶跃函数改为可导的线性函数,这是就改名叫线性单元了!!
感知器有一个问题,当面对的数据集不是线性可分的时候,『感知器规则』可能无法收敛,这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题,我们使用一个可导的线性函数来替代感知器的阶跃函数,这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时,会收敛到一个最佳的近似上。
为了简单起见,我们可以设置线性单元的激活函数f为:
这样的线性单元如下图所示:
对比此前我们讲过的感知器:
stepfunc.png
这样替换了激活函数f之后,线性单元将返回一个实数值而不是0,1分类。因此线性单元用来解决回归问题而不是分类问题。
线性单元的模型
当我们说模型时,我们实际上在谈论根据输入x预测输出y的算法。比如,x可以是一个人的工作年限,y可以是他的月薪,我们可以用某种算法来根据一个人的工作年限来预测他的收入。比如:
函数hx做假设,而w、b是它的参数。我们假设参数w=1000,参数b=500,如果一个人的工作年限是5年的话,我们的模型会预测他的月薪为:
其中,x1对应工作年限,x2对应行业,x3对应公司,x4对应职级。
为了书写和计算方便,我们可以令w0等于b,同时令w0对应于特征x0。由于x0其实并不存在,我们可以令它的值永远为1。也就是说:
这样,上面的式子可以这样写:
我们可以把上面的式子写成向量的形式:
长成这种样子模型就叫做线性模型,因为输出y就是输入特征x1,x2,x3,......的线性组合。