Lihongyi.2016fall.Lecture20.SVM.

ML Lecture 20: Support Vector Machine (SVM)

1. outline

outline

2. loss function

square loss不合理（红线） sigmoid+square loss（蓝线） sigmoid+cross entropy（绿线） Hinge loss

3. Linear SVM

loss function and VS logistic regression gradient descent 求解 SVM 另一种理解，约束最优化问题 - 对偶解法

4. Dual Representation

对偶问题——不是支持向量的实例，对loss没有影响 表示为Kernel function

5. Kernel trick

kernel trick kernel trick kernel trick RBF kernel——相当于在无穷多维做训练，容易over fitting sigmoid kernel——有几个支持向量，就有几个神经元 kernel ， DTA

6. others

SVMs 比较