第五章 支持向量机（分类）

支持向量机简介

SVM是一个非常通用的机器学习模型，可以用于线性或非线性分类，回归，甚至异常分析。
是最流行的机器学习算法之一，

1.SVM 对特征缩放非常敏感，所以要引入standardScalar
具体是这样：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(Xs)
svm_clf.fit(X_scaled, ys)

2.SVM中有 hard margin 和 soft margin 之分，一个边缘是硬的，一个是软的。
硬也就意味着对于异常值非常敏感，太软了又会发生欠拟合，所以为了更好的预测需要控制软和硬。
为了做到这一点，我们使用超参数 C 。

scaler = StandardScaler()
svm_clf1 = LinearSVC(C=1, loss="hinge", random_state=42)
svm_clf2 = LinearSVC(C=100, loss="hinge", random_state=42)

scaled_svm_clf1 = Pipeline([
        ("scaler", scaler),
        ("linear_svc", svm_clf1),
    ])
scaled_svm_clf2 = Pipeline([
        ("scaler", scaler),
        ("linear_svc", svm_clf2),
    ])

scaled_svm_clf1.fit(X, y)
scaled_svm_clf2.fit(X, y)

C=1与C=100之间的差距

这也意味着如果发生过拟合或者受到异常值的影响可以考虑减小C的值

如果想要做非线性回归，有三种方法
1.多项式特征=>多项式核

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures

polynomial_svm_clf = Pipeline([
        ("poly_features", PolynomialFeatures(degree=3)),
        ("scaler", StandardScaler()),
        ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42))
    ])

polynomial_svm_clf.fit(X, y)

多项式核

from sklearn.svm import SVC

poly_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
    ])
poly_kernel_svm_clf.fit(X, y)

3.相似特征，高斯径向基函数（Gaussian RBF）=>高斯核

rbf_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="rbf", gamma=5, C=0.001))
    ])
rbf_kernel_svm_clf.fit(X, y)

不同的C和γ对高斯核的影响

高斯核有两个重要参数，C 和 γ（gama），C就是决定边缘软硬，γ 类似于正则化的超参数，γ 越大，决策边界最终就会变得越崎岖复杂，反之则会变光滑。

如何选择一个合适的核

首先要考虑linearSVC，因为最快，尤其是当训练集非常大的时候。
如果训练集不是很大，可以尝试使用高斯RBF核，如果还有其他时间再尝试别的核。