简单的数据预处理和特征工程

1.无量纲化：最值归一化、均值方差归一化及sklearn中的Scaler

无量纲化使不同规格的数据转换到同一规格

为什么要数据归一化

在实际应用中，样本的不同特征的单位不同，会在求距离时造成很大的影响

最值归一化

定义：把所有数据映射到0-1之间。最值归一化的使用范围是特征的分布具有明显边界的(分数0～100分、灰度0～255)，受outlier的影响比较大

公式：

最值归一化公式 向量最值归一化 矩阵最值归一化

均值方差归一化

定义：把所有数据归一到均值为0方差为1的分布中。适用于数据中没有明显的边界，有可能存在极端数据值的情况

公式：

Sklearn中的归一化

我们在对测试数据集进行归一化时，要计算测试数据的均值和方差么？

答案是否定的。在对测试数据集进行归一化时，仍然要使用训练数据集的均值train_mean和方差std_train。这是因为测试数据是模拟的真实环境，真实环境中可能无法得到均值和方差，对数据进行归一化。只能够使用公式(x_test - mean_train) / std_train并且，数据归一化也是算法的一部分，针对后面所有的数据，也应该做同样的处理.

因此，我们要保存训练数据集中得到的均值和方差

sklearn归一化代码

2.缺失值处理

机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但又不能舍弃字段的情况。

数据挖掘算法本身更致力于避免数据过分拟合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此，缺省值需要通过专门的方法进行推导、填充等，以减少数据挖掘算法与实际应用之间的差距。

数据预处理中非常重要的一项就是处理缺失值

处理方式：

    1.不处理

        补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实，在对不完备信息进行补齐处理的同时，我们或多或少地改变了原始的信息系统。而且，对空值不正确的填充往往将新的噪声引入数据中，使挖掘任务产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理。

    2.补齐

       通常基于统计学原理，根据初始数据集中其余对象取值的分布情况来对一个缺失值进行填充

        常用方法：人工填写，特殊值填充，平均值填充，热卡填充，K最近距离邻法等

    3.删除

        将存在遗漏信息属性值的对象（元组，记录）删除，从而得到一个完备的信息表。这种方法简单易行，在对象有多个属性缺失值、被删除的含缺失值的对象与初始数据集的数据量相比非常小的情况下非常有效，类标号缺失时通常使用该方法。

    缺点：删除该列特征，有时候会导致性能下降

3.处理分类型特征：编码与哑变量

    在机器学习中，大多数算法，譬如逻辑回归，支持向量机SVM，k近邻算法等都只能够处理数值型数据，不能处理文字，在sklearn当中，除了专用来处理文字的算法，其他算法在fit的时候全部要求输入数组或矩阵，也不能够导入文字型数据（其实手写决策树和普斯贝叶斯可以处理文字，但是sklearn中规定必须导入数值型）。然而在现实中，许多标签和特征在数据收集完毕的时候，都不是以数字来表现的。比如说，学历的取值可以是["小学"，“初中”，“高中”，"大学"]，付费方式可能包含["支付宝"，“现金”，“微信”]等等。在这种情况下，为了让数据适应算法和库，我们必须将数据进行编码，即是说，将文字型数据转换为数值型。

    preprocessing.LabelEncoder：标签专用，能够将分类转换为分类数值

    preprocessing.OrdinalEncoder：特征专用，能够将分类特征转换为分类数值

    preprocessing.OneHotEncoder：独热编码，创建哑变量

4.处理连续型特征：二值化与分段

        sklearn.preprocessing.Binarizer
        根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。二值化是对文本计数数据的常见操作，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶斯设置中的伯努利分布建模）。

        preprocessing.KBinsDiscretizer

        这是将连续型变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码