corss entropy

详细看：https://zhuanlan.zhihu.com/p/54066141

简单理解：

• 公式：cross_entropy_error = -sum(t(i)*log(y(i)))
• 用于分类问题
• 用以量化2个概率分布之间的差异

demo:

>>> def corss_entropy_error(y, t):
    delta=1e-7
    return -np.sum(t*np.log(y + delta))
>>> t
[0, 0, 0, 0, 0, 0, 1, 0, 0, 0]
>>> y
array([0.36618148, 0.00644256, 0.80942275, 0.99869108, 0.59959535,
       0.58399833, 0.57789807, 0.84208446, 0.20611667, 0.58973758])
>>> corss_entropy_error(y, t)
0.5483576020780061

• 其中t是lable，其代表所在index的概率大小，label是有确定的唯一值，所以只有一个1，其他都是0；
• y是分类器后经过softmax的输出，是计算得到的值。
• y和t都是为了表示同一个东西，但是有差异，差异多少呢，通过这个corss entropy来量化