softmax原理及推导
2018-10-10 本文已影响2人
0过把火0
序
本次记录内容主要为softmax的推导，部分内容有参考各网友文章
多分类问题
多分类问题符合多项式分布，softmax是一种用于解决多分类问题的有效方法。
softmax的推导思路为：
首先证明 多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数 h(x) 即为Softmax回归的分类模型。
证明多项式分布是指数分布族
（什么是指数分布族可参考我的另一篇 指数分布族函数与广义线性模型）
多分类模型的输出是该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别，作为该样本的预测类别。
这k个概率用k个变量 Θ1…Θk 来表示，这k个变量的和为1，即满足：
Θk 可以用前k-1个变量来表示：
使用广义线性模型拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为：
在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。下面使用 表示向量T(y)的第 i 个元素。
下面引入一个新的符号：
如果括号内为true则这个符号取1，反之取0，例如：
那么
也就是说，向量T(y)的第 i 个元素是否为1是由当前y是否与 i 相等决定的。
T(y)是一个类似于onehot向量的东西，表示属于k类中的哪一个，则相应位置 i 会置为1。
那么可以得到：
多项式分布转化为指数分布族表达式过程如下：
上面转换过程中每一步的转换依据如下：
以上推导证明了：多项分布表达式可以表示为指数分布族表达式的格式，所以它属于指数分布族，那么就可以用广义线性模型来拟合这个多项式分布模型。
softmax推导
由η表达式可得：
