逻辑回归为什么用交叉熵损失函数

1 Logistic Regression（逻辑回归）

• 逻辑回归是机器学习中的一个非常常见的模型， 逻辑回归模型其实仅在线性回归的基础上，套用了一个逻辑函数。

• 逻辑回归可以看做是两步，第一步和线性回归模型的形式相同，即一个关于输入x的线性函数：

• 第二步通过一个逻辑函数，即sigmoid函数，将线性函数转换为非线性函数。
  

2损失函数

• 为了训练逻辑回归模型的参数w和b需要一个代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m：

3 为什么逻辑回归的损失函数是这样的形式

• 我们假定输入样本x，用y^{表示训练样本x条件下预测y=1的概率，对应的，用1-y}表示训练样本x条件下预测y=0的概率，也就是说：
  

• 我们可以把这两个公式合并成一个公式：

• 可以发现，在y=1时公式右边等于y^{，在y=1时公式右边等于1-y}。由于log函数是严格递增函数，所以最大化log等价于最大化原函数，上式因此可以化简为式子，也就是损失函数的负数。

• 最大化似然函数也就是最小化损失函数。

• 对于m个样本的整个训练集，服从独立同分布的样本的联合概率就是每个样本的概率的乘积：

• 同样的，最大化似然函数也就是最小化代价函数，因此可以去掉负号，并除以一个常数m对代价函数进行适当的缩放，得到：

参考链接(侵删)：
https://blog.csdn.net/weixin_41537599/article/details/80585201