常用机器学习算法
常用机器学习算法
常用预测（分类，回归）模型：
分类算法：LR , SVM，KNN
矩阵分解：FunkSVD，BiasSVD，SVD++
FM模型：FM, FFM, DeepFM, NFM，AFM
树模型：GBDT, XGBoost, LightGBM, CatBoost，NGBoost
Attention模型：DIN, DIEN, DSIN
LR工具
from sklearn.linear_model.logistic import LogisticRegression
参数
-
penalty，惩罚项，正则化参数，防止过拟合，l1或l2，默认为l2
-
C，正则化系数λ的倒数，float类型，默认为1.0
-
solver，损失函数优化方法，liblinear（默认），lbfgs， newton-cg，sag
-
random_state，随机数种子
-
max_iter，算法收敛的最大迭代次数，默认为100
-
tol=0.0001 : 优化算法停止条件，迭代前后函数差小于tol则终止
-
verbose=0 : 日志冗长度int：冗长度；0：不输出训练过程；1：偶尔输出； >1：对每个子模型都输出
-
n_jobs=1 : 并行数，int：个数；-1：跟CPU核数一致；1:默认值
常用方法
fit(X, y, sample_weight=None)
fit_transform(X, y=None, **fit_params)
predict(X) # 用来预测样本，也就是分类
predict_proba(X) # 输出分类概率。返回每种类别的概率，按照分类类别顺序给出。
score(X, y, sample_weight=None) # 返回给定测试集合的平均准确率（mean accuracy）
模型参数配置
model.fit(X_train, y_train)
predict = model.predict_proba(test)[:, 1]
test['Attrition']=predict
# 转化为二分类输出
test['Attrition']=test['Attrition'].map(lambda x:1 if x>=0.5 else 0)
test[['Attrition']].to_csv('submit_lr.csv')
SVM
sklearn中支持向量分类主要有三种方法：SVC、NuSVC、非线性
LinearSVC（解决线性）
sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True,
probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False,
max_iter=-1, decision_function_shape='ovr', random_state=None) </pre>
NuSVC
sklearn.svm.NuSVC(nu=0.5, kernel='rbf', degree=3, gamma='auto', coef0=0.0,
shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None,
verbose=False, max_iter=-1, decision_function_shape='ovr', random_state=None)
非线性
sklearn.svm.LinearSVC(penalty='l2', loss='squared_hinge', dual=True, tol=0.0001, C=1.0,
multi_class='ovr', fit_intercept=True, intercept_scaling=1, class_weight=None, verbose=0,
random_state=None, max_iter=1000)
常用参数：
C，惩罚系数，类似于LR中的正则化系数，C越大惩罚越大
nu，代表训练集训练的错误率的上限（用于NuSVC）
kernel，核函数类型，RBF, Linear, Poly, Sigmoid，precomputed，默认为RBF径向基核（高斯核函数）
gamma，核函数系数，默认为auto
degree，当指定kernel为'poly'时，表示选择的多项式的最高次数，默认为三次多项式 probability，是否使用概率估计
shrinking，是否进行启发式，SVM只用少量训练样本进行计算
penalty，正则化参数，L1和L2两种参数可选，仅LinearSVC有
loss，损失函数，有‘hinge’和‘squared_hinge’两种可选，前者又称L1损失，后者称为L2损失
tol: 残差收敛条件，默认是0.0001，与LR中的一致
SVM工具
概述
SVC，Support Vector Classification，支持向量机用于分类
SVR，Support Vector Regression，支持向量机用于回归
sklearn中支持向量分类主要有三种方法：SVC、NuSVC、LinearSVC
基于libsvm工具包实现，台湾大学林智仁教授在2001年开发的一个简单易用的SVM工具包
SVC，C-Support Vector Classification，支持向量分类
NuSVC，Nu-Support Vector Classification，核支持向量分类，和SVC类似，不同的是可以使用参数来控制支持向量的个数
LinearSVC，Linear Support Vector Classification
线性支持向量分类，使用的核函数是linear
libsvm中自带了四种核函数：线性核、多项式核、RBF以及sigmoid核
Kernel 核的选择技巧的：
-
如果样本数量 < 特征数：
-
方法1：简单的使用线性核就可以，不用选择非线性核
-
方法2：可以先对数据进行降维，然后使用非线性核
-
-
如果样本数量 >= 特征数
- 可以使用非线性核，将样本映射到更高维度，可以得到比较好的结果
SVM思想
一些线性不可分的问题可能是非线性可分的，也就是在高维空间中存在分离超平面（separating hyperplane）
使用非线性函数从原始的特征空间映射至更高维的空间，转化为线性可分问题。
image-20220212162450722.png
模型参数配置
model = LinearSVC(max_iter=1000,
random_state=33,
verbose=True,
)
model.fit(X_train, y_train)
predict = model.predict(test)
print(predict)
test1['Attrition']=predict
test1[['Attrition']].to_csv('submit_svc.csv')
总结
每种模型都有适用的场景
可以使用LR模型作为预测的Baseline
FM衍生模型在推荐系统，尤其是CTR预估中有广泛应用，弥补了LR模型的不足（需要人工组合特征，耗费大量时间和人力）
Attention机制，对于Diversity多样性的情况，Attention机制可以提升效率，并且得出更好的结果
Tree Ensemble模型，比如GBDT，使用广泛，因为训练模型更可控
对于 LR 模型，如果欠拟合，需要增加feature，才能提高准确率。
而对于 tree-ensemble 来说，解决方法是训练更多的决策树 tree,Kaggle比赛中使用很多。
