softmax应用及数学推导

2019-01-26 本文已影响0人 Echoooo_o

假如有两个数，a和b，并且a>b，如果取max，那么就直接取a，但有的时候这样会造成分值小的那个饥饿。因此实现希望分值大的那一项经常取到，分值小的那一项也偶尔可以取到，那么softmax就应运而生了

现在还是a和b，a>b，如果我们取按照softmax来计算取a和b的概率，那a的softmax值大于b的，所以a会经常取到，而b也会偶尔取到，概率跟它们本来的大小有关。所以说不是max，而是 Softmax

定义一个数组V[ ] 那么该数组中每个元素的softmax值就是

$S_{t} = \frac{e^t }{\sum_{j}e^j }$ 其中 t = V[ i ] 。

那么第 i 个元素 t 对应的概率就是 $P_{t} = \frac{e^t }{\sum_{j}e^j }$

在这里还要引入一个知识就是交叉熵 $L_{t} = -\ln (\frac{e^t }{\sum_{j}e^j })$

那么交叉熵对 $L_{t}$ 对于 t 的偏导数值就是