softmax和分类模型 2020-02-18

2020-02-18 本文已影响0人 allen成

softmax和分类模型

内容包含：

分类问题
一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。
图像中的4像素分别记为 $x_1$ , $x_2$ , $x_3$ , $x_4$ 。
假设真实标签为狗、猫或者鸡，这些标签对应的离散值为 $y_1$ , $y_2$ , $y_3$ 。
我们通常使用离散的数值来表示类别，例如 $y_1=1$ , $y_2=2$ , $y_3=3$ 。
权重矢量
$o_1=x_1w_{11}+x_2w_{21}+x_3w_{31}+x_4w_{41}+b_1$
$o_2=x_1w_{12}+x_2w_{22}+x_3w_{32}+x_4w_{42}+b_2$
$o_3=x_1w_{13}+x_2w_{23}+x_3w_{33}+x_4w_{43}+b_3$
神经网络图
下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出 $o_1$ , $o_2$ , $o_3$ 的计算都要依赖于所有的输入 $x_1$ , $x_2$ , $x_3$ , $x_4$ ，softmax回归的输出层也是一个全连接层。
softmax回归是一个单层神经网络
既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值 oi 当作预测类别是 i 的置信度，并将值最大的输出所对应的类作为预测输出，即输出 argmaxioi 。例如，如果 $o_1$ , $o_2$ , $o_3$ 分别为 0.1,10,0.1 ，由于 o2 最大，那么预测类别为2，其代表猫。