【机器学习】记录一些新的认识

• 从最早接触机器学习到现在已经2年了，中间做过别的事情，也并没有很系统地学习过，因此本文用于记录一些我对机器学习的新认识，或者纠正之前认识的误区
• 我用sklearn做机器学习，所以本文主要是记录我对sklearn的新认识，或纠正误区

关于超参和参数

• 这是两个不同的概念
• 参数：模型从训练集中自动习得的参数，例如y=kx+b中的k、b，是从训练集数据中拟合得的参数。
• 超参：自己设定的参数，如随机森林中，树设置几棵、树的深度、树的特征数等。
• 我们所说的调参、寻找最优参数，指的都是超参。

关于验证集

• 验证集的作用是用于调超参。
• 在神经网络模型里，用验证集调参时，验证集的数据也被学习，所以当使用该验证集调参的次数多了之后，模型可能也会在验证集上过拟合。
• 但在传统机器学习模型上（SVM/KNN/NB/RF/GBDT/LR/....），验证集充当“测试集”的作用，让模型在未被见过的数据上测试一下表现，人们通过观察其表现（如准确率）从而调整模型的超参。与神经网络模型不同的是，在这过程中，验证集的数据并没有被学习，只是用于“测试”。

关于random_state

• random_state设置为具体数字可以使得结果可重复
• 在所有有random_state设置的函数底下都需要设置！
• 之前看到有书说可以在代码开头设置np.random.seed(32)，能保证结果可重复，我试了，发现并不能保证每次得到相同结果，还是手动设置好每一个random_state靠谱！

StratifiedKFold的使用

• StratifiedKFold是将数据集的正负样本按比例分配为n份(default=5)
• 需要注意的是：返回的是n对已经结合好的训练集和测试集的index
  而不是一对
  也不是n份需要被手动结合的数据集
• 但需要做的是从这些index里索引到训练集和测试集

from sklearn.model_selection import StratifiedKFold
skf=StratifiedKFold(n_splits=10, shuffle=True, random_state=32)
for train_index,test_index in skf.split(X,y):
  train_index=list(train_index)
  test_index=list(test_index)
  X_train, X_test = X.iloc[train_index], X.iloc[test_index]
  y_train, y_test = y.iloc[train_index], y.iloc[test_index]

参考：https://towardsdatascience.com/how-to-train-test-split-kfold-vs-stratifiedkfold-281767b93869

Pipeline和make_pipeline的区别

• Pipeline需要自定义step的名字，make_pipeline不需要
• 当需要结合GridSearchCV寻找最优参数的时候使用可以自定义step名字的Pipeline
  因为这样才可以根据名字给模型输入参数范围
• 参考：https://stackoverflow.com/questions/40708077/what-is-the-difference-between-pipeline-and-make-pipeline-in-scikit

cross_val_score的理解

• cross_val_score是用于大致估计模型的水平，估计模型在没见过的数据上表现如何
• 并不能训练模型！
• cross_val_score用完之后，想用clf.score(X_test,y_test)查看模型表现，会返回告诉一个NotFittedError:clf没有fit过
• 参考：https://stackoverflow.com/questions/42075986/scikitlearn-score-dataset-after-cross-validation
• 除了cross_val_score以外这些也是没fit的：
  learning_curve

cross_val_score的使用

• 本发现重要
• 以前往往习惯将其参数cv设置为具体数值，如cv=5表示做5倍交叉验证
  现在发现这么做存在问题：无法确定这5个数据集是怎么划分的
  有可能他并不是按比例取正负样本的，也有可能没有做shuffle
• 正确做法：用StratifiedKFold划分好后传入参数cv中

from sklearn.model_selection import cross_val_score, StratifiedKFold
skf=StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
scores=cross_val_score(estimator=pipe,X=X,y=y,cv=skf)

• 用StratifiedKFold保证我先将数据集打乱，并且保证划分的5个数据集里正负样本所占的比例是一致的

StandardScaler

• 使用standardscaler之后数据类型从pandas的dataframe变成了np的array，怎么办？
• 参考：https://stackoverflow.com/questions/35723472/how-to-use-sklearn-fit-transform-with-pandas-and-return-dataframe-instead-of-num

from sklearn.preprocessing import StandardScaler
df=pd.read_csv('example.csv')
scaled_features = StandardScaler().fit_transform(df.values)
scaled_features_df = pd.DataFrame(scaled_features, index=df.index, columns=df.columns)

GridSearchCV

• GridSearchCV默认做5倍交叉验证