分类任务的损失函数：cross_entropy

交叉熵函数cross_entropy()是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在信息论中，交叉熵用于度量两个概率分布p,q的相似性，其中p表示真实分布，q表示非真实分布；

在深度学习的分类任务中：交叉熵对比了模型的预测结果和数据的真实标签，随着预测越来越准确，交叉熵的值越来越小，如果预测完全正确，交叉熵的值就为0。因此，训练分类模型时，可以使用交叉熵作为损失函数。 深度学习中的交叉熵函数

其输入是One-hot编码的标签和Softmax函数的输出S(Y)。线性层FC的输出为y,即logit。
x > y > softmax(y) -> cross_entropy(softmax(y), one-hot labels)

Cross_entropy函数用于衡量两个向量的距离(相似度)，在深度学习中，即预测值的概率输出向量和标签值的One-hot编码向量的相似度，越相似，cross_entropy函数的输出值越小。 cross_entropy函数 cross_entropy函数使用范例
Binary Cross-Entropy: Cross-entropy 作为二分类任务的损失函数
Categorical Cross-Entropy: Cross-entropy 作为多分类任务的损失函数
在交叉熵使用实践中：如果平均交叉熵小于0.2，那么是一个良好的开端；小于0.1或0.05甚至更好。可以将平均直熵的这些直觉总结如下：

• 交叉熵= 0.00：完美匹配。
• 交叉熵<0.02：相当不错。
• 交叉熵<0.05：在正确的轨道上。
• 交叉熵<0.20：很好。
• 交叉熵> 0.30：不好。
• 交叉熵> 1.​​00：太糟糕了。
• 交叉熵> 2.00：东西坏了