Softmax vs. SVM

softmax vs. svm

• 10是正确的分类所得分数
• 问题：假设我选择一个数据点，并稍微抖动了一下(稍微改变了它的分数)。在这两种情况下，损失发生了什么？
• 答案：svm几乎不受影响，而softmax会有影响。比如-100，微小的改变后，依然是0，而softmax的概率则也会随之微小的改变。
• 区别：SVM对接近分类边缘的数据较为敏感，而对于离边界远的样例点不敏感；softmax是基于所有样例数据的函数，对每个样例点都有所考量。
• 有很多函数可以作为损失函数，这里介绍了常用的两个。
• 我们可以根据分数的不同，悬着不同的损失函数。
• 一个demo，动态展示分类过程
  http://vision.stanford.edu/teaching/cs231n/linear-classify-demo/

优化（权重）

回顾loss计算

recap

优化方法

1. 随机搜索：准确率15.5%

随机搜索

2. 沿着斜率走

• 斜率计算公式

斜率

• 计算斜率

计算斜率

• 数学的计算方法的缺点：求解的损失值是近似的；计算缓慢

这种方法很傻

• 解析梯度-微积分

公式计算法

• 总结：一般适用解析梯度，数值梯度用来检验解析梯度是否正确。

总结

Mini-batch 梯度下降

• 只用一部分数据来计算梯度
• 会有噪音
• 可以提高效率

Mini-batch learning rate

权重更新方法

different update form formulas

视觉特征

特征1 特征2 example