深度学习一

Logistic Regression with Softmax and Cross-Entropy

分布向量（Distribution Vector）与标签向量（Label Vector）的距离

由Softmax函数得到的分布向量，对与数乘运算比较敏感（例如，对分布向量乘以10，可以得到一个概率趋近于1或0的分布；而对分布向量除以10，则可能得到一个均匀分布的向量），基于此，需要度量分布向量和标签向量的距离。

1.png

图中S表示分布向量，L表示标签向量。S、L的位置不可以互换，因为对数函数的存在。

完整的Logistic Regression如下图所示。

2.png