经典分类模型

逻辑回归怎么实现多分类

• 一个样本只有一个标签

  image

  之后处理一个参数冗余的问题就完事 利用概率和为1

• 一个样本有多标签

  训练k个二分类器，第i个分类器表示某个样本是否属于第i类，测试的时候，对于每一个类别都给出属于还是不属于该类别。训练的时候需要重新处理标签，对于第i个分类器，将标签重新整理为属于第i类，和不属于第i类。

SVM中什么时候用线性核什么时候用高斯核?

线性核、多项式核、高斯核。

特征维数高选择线性核

样本数量可观、特征少选择高斯核（非线性核）

样本数量非常多选择线性核（避免造成庞大的计算量）

训练集中类别不均衡，哪个参数最不准确？

准确率。

● 为什么高斯核能够拟合无穷维度

因为将泰勒展开式代入高斯核,将会得到一个无穷维度的映射。

● LR和SVM 区别

1）LR是参数模型，SVM是非参数模型。2）从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。3）SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。4）逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。5）logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了。

如果给你一些数据集，你会如何分类（我是分情况答的，从数据的大小，特征，是否有缺失，分情况分别答的）；

假如特征维数较多，可以选择SVM模型，如果样本数量较大可以选择LR模型，但是LR模型需要进行数据预处理；假如缺失值较多可以选择决策树。选定完模型后，相应的目标函数就确定了。还可以在考虑正负样例比比，通过上下集采样平衡正负样例比。

如果数据有问题，怎么处理；

ID3决策树优先选择信息增益大的属性来对样本进行划分,但是这样的分裂节点方法有一个很大的缺点,当一个属性可取值数目较多时,可能在这个属性对应值下的样本只有一个或者很少个,此时它的信息增益将很高,ID3会认为这个属性很适合划分,但实际情况下叫多属性的取值会使模型的泛化能力较差,所以C4.5不采用信息增益作为划分依据,而是采用信息增益率作为划分依据。但是仍不能完全解决以上问题,而是有所改善,这个时候引入了CART树,它使用gini系数作为节点的分裂依据。

● ID3,C4.5和CART三种决策树的区别

	ID3	C4.5	CART
特征选择	信息增益	信息增益比	基尼指数
连续离散	离散	都可以	都可以
任务	分类	分类	分类+回归
缺失值	敏感
二叉树	多叉树	多叉树	二叉树
特征复用	不可以	不可以	可以

C4.5对于缺失值的处理

• 特征选择前
  • 将没有特征值的数据视为特征取值为None的一类，跟其他有特征取值的样本一同计算信息增益比
• 特征选择后
  • 将确实特征的样本划分到每一个分支，这时候需要将一个样本劈开，按照各个分支的样本数分配权重。比如缺失特征A的样本a之前权重为1，特征A有3个特征值A1,A2,A3。 3个特征值对应的无缺失A特征的样本个数为2,3,4.则a同时划分入A1，A2，A3。对应权重调节为2/9,3/9, 4/9。

C4.5处理连续特征

基本思想就是连续特征离散化。现将特征排序，m个样本的连续特征A有m个，从小到大排列为a1,a2,...,am,则C4.5取相邻两样本值的平均数，一共取得m-1个划分点，其中第i个划分点表示为

要注意的是，与离散属性不同的是，如果当前节点为连续属性，则该属性后面还可以参与子节点的产生选择过程。