学习笔记

机器学习理论基础

来自《scikit-learn机器学习》

过拟合和欠拟合

过拟合是指模型能很好的拟合训练样本，但对新样本的预测准确性很差。 高方差
欠拟合是指 模型不能很好的拟合训练样本，且对新样本的预测准确性也不是很好。 高偏差

成本函数

成本是衡量模型与训练样本符合程度的指标。简单的理解，成本是针对所有的训练样本，模型拟合出来的值与训练样本的真实值的误差平均值。模型训练的过程中，要使成本函数的值最小。

学习曲线

学习曲线是指模型的准确性与数据集大小的关系，通过学习曲线可以直观的判断模型训练的情况，方便改进模型。
Pipeline流水线来构造多项式模型

from sklearn.pipeline inport Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.liner_model import LinearRegression
def polymial_model(degree=1):
    polynimail_features = PolymailFeatures(degree=degree,include_bias=False)
    linear_regression = LinearRegression()
    # 这是一个流水线，先增加多项式阶数，然后再用线性回归算法来拟合数据。
    pipeline = Pipeline([("polynomail_features",polynomail_features),("linear_regressin",linear_regression])
    return pipeline

学习曲线调包

from sklearn.model_selection import learning_curve
train_sizes, train_scores, test_scores = learn_curve(estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=train_sizes)

模型的性能优化

过拟合：获取更多的训练样本，或者减少输入的特征数量
欠拟合：增加有价值的特征，增加多项式特征

Precision和Recall

Precision是预测为正的样本中正确的概率。
Recall是所有正的样本中预测成功的概率。
俩者一般都是相斥的，Precision大Recall小，Recall大Precision小

F1score

F1score用来判断哪个算法好，因为当判断算法的两个指标一个大一个小的时候，怎样判断哪个算法最好，这就需要将两个算法发在一起。
F1score = 2*(PR/P+R)

k临近算法

核心思想是未标记的样本点，由与它最接近的k的样本值的类别来判断。
伪代码如下：

• 遍历训练集中的所有样本，计算每个样本与X_test的距离，并将其保存在Distance数组中
• 对Distance数组进行排序，取最近的k个点 ，记为X_knn
• 在X_knn中统计样本类别的个数
• 待标记样本的类别就是在X_knn中样本个数最多的那个类别。

优点：准确度高，对异常值和噪声有较高的容忍度。
缺点：计算量大，对内存的要求也大。
算法参数：k k值越大，模型的偏差越大，对噪声数据不敏感，欠拟合。k值越小，过拟合
算法的变种：增加邻居的权重，针对不同的邻居指定不同的距离权重，距离越近，权重值越高。

from sklearn.neighbors import KNeighborsClassifier

k = 5
clf = KNeighborsClassifier(n_neighbors=k)
clf.fit(X,y)
y_sample = clf.predict(X_sample)

knn算法也可以实现回归拟合

from sklearn.neighbors import KNeighborsRegressor

可以用knn.score() 方法计算拟合曲线针对样本的拟合准确性

数据分割

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X, y, test_size=0.2)

线性回归算法

模型优化：当线性回归模型太简单导致欠拟合时，我们可以增加特征多项式来让线性模型更加地拟合数据。
在scikit-learn里，线性回归是由类 sklearn.linear_model.LinearRegression 实现，多项式由类 sklearn.preprocessing.PolynomailFeatures 实现。

逻辑回归算法

逻辑回归是实现分类问题的一种机器学习算法，它主要的思想是怎样把预测值的输出控制在0和1之间，我们知道线性回归算法的预测值是正无穷到负无穷，那么怎样把值的输出控制在（0,1）之间呢？这就需要使用Sigmoid函数

g(z)=1/(1+e^{-z})

判断条件是0.5，大于0.5则为1，小于0.5则为0.