认识数据-DataMining

一、数据对象和属性类型

数据集由数据对象组成；数据对象用属性描述。

数据对象：
    一个数据对象代表一个数据实体；
    又称为：样本、实例、数据点、对象；
    如果数据对象存放在数据库中，则称为 数据元组；
    就是说，数据库的行对应于数据对象，而列对应于属性；

属性：
    是一个数据字段，表示数据对象的一个特征。
    在文献中，属性、维（dimension）、特征（feature）、变量（variable）可以互换使用。
    维：一般用在数据仓库中；
    特征：机器学习文献更倾向于使用此术语；
    变量：统计学家更愿意使用此术语；
    属性：数据挖掘和数据库的专业人士倾向于使用的术语；

特征向量：用来描述一个给定对象的一组属性；又称属性向量；

属性类型：由该属性可能具有的值的集合决定；
    标称属性、二元属性、序数属性、数值属性；

标称属性：nominal attribute   /'nɑmɪnl/
    标称属性的值是一些符号或事物的名称，每个值代表某种类别、状态、编码；
    这些值不必具有有意义的顺序,并且不是定量的，也被称为 枚举（enumeration）;
    这种属性的均值、中值是没有意义的；
    中心趋势度量使用 众数（Mode）：该属性最常出现的值；

二元属性：（binary attribute）
    是一种只有两个状态的标称属性；1表示出现，0表示不出现；
    又称布尔属性，如果两种状态对应 true 和 false的话；
  对称二元属性：两种状态具同等价值，且携带相同的权重；例如性别gender。
  非对称二元属性：状态的结果不是同等重要；例如：新冠检测：阳性、阴性；

序数属性：ordinal attribute  /'ɔrdənl/
    其可能的值之间具有有意义的顺序评定，但值之间的差是未知的；
    用于记录不能客观度量的主观质量评估，通常用于等级评定；
    也可以通过把数值属性的值域划分成有限个顺序类别，把数值属性离散化而得到；
    中心趋势度量：众数 和 中位数（有序序列的中间值）表示，不能定义均值；

注：标称属性、序数属性都是定性的，仅描述对象的特征，而不给出实际的大小或数量，不是可测量的值；例如：0表示中杯，1表示大杯，2表示特大杯。（罗永浩：小杯是什么？）

数值属性：numeric attribute    /nu'mɛrɪkl/ 
    是定量的，可度量的量，用整数或实数表示；
    I、区间标度属性 interval-scaled：用相等的单位尺度度量，区间属性的值有序，允许比较和定量评估值之间的差。例如温度，没有真正的零点，0℃不表示没有温度，不能说10℃比5℃温暖2倍；即不能用比率谈论这些值；
    II、比率标度属性 ratio-scaled：是具有固有零点的数值属性；可以说一个值是另一个值的倍数。例如开氏温度、速度、年龄、高度等；

另：机器学习领域的分类算法通常把属性分成：离散的、连续的；
    离散属性：具有有限或无限个可数的值；可以用整数 或 不用整数 表示；
    连续属性：连续属性一般用浮点变量表示，值是实数；

二、数据的基本统计描述

中心趋势度量：度量数据分布的中部或中心位置；即属性的值大部分落在何处。
    均值、中位数、众数、中列数；

数据散布度量：数据如何分散的，识别离群点；
    极差、四分位数、四分位数极差、五数概括、盒图、方差、标准差；

基本统计描述可视化：分位数图、分位数-分位数图、直方图、散点图、线图、饼

---

1、中心趋势度量：

I、均值 mean：数据集『中心』最常用、最有效的数值度量。适用于对称数据集；
    加权平均：每个值可以与一个权重Wi相关联，权重反应对应值的意义、重要性或出现的频率。
    截尾均值 trimmed mean：丢弃高低极端值后的均值；计算均值前去掉高端和低端的2%；

II、中位数 median：有序数据值的中间值，把数据分为高低两半的值；适用于非对称数据集;
    中位数的近似值：当观测的数量很大时，中位数的计算开锁很大，用近似值公式计算；

III、众数 mode：集合中出现最频繁的值。定性定量属性均可有众数；
    单峰数据集 unimodal：最高频率对应一个值；
    多峰数据集 multimodal：最高频率对应两个或更多值 ；

IV、中列数 midrange：是数据集最大和最小值的平均值；

对称数据分布的单峰数据集，均值、中位值、众数是相同的中心值；
正倾斜分布的数据集，众数出现在小于中位数的值上；
负倾斜分布的数据集，众数出现在大于中位数的值上；

---

2、度量数据散布：

I、极差 range：最大值 max()与最小值Min()之差；

II、分位数 quantile：把数据分布划分为基本大小相等的连贯集合的数据点；
    二分位数：即中位数：把数据划分为高低两半；
    四分位数 quartile ：是3个数据点，把数据分布划分为4个相等的部分，各四分之一;
    百分位数 percentile ：把数据分布划分成100个大小相等的连贯集；

    四分位数极差 IQR ：第一个四分位数Q1和第三个四分位数Q3之间的距离，是中间一半所覆盖的数据范围，是散布的一种简单度量。

III、五数概括 five-number summary、盒图 boxplot、离群点 
    对于倾斜分布，单个散布数值度量（例IQR）不是很有用；中心度量值不能把数据划分成大小相同的两半；因此用五个数来概括更完整的数据分布形状；
    五数概括：Mininum、Q1、Median、Q3、Maxinum；
                    最小值、四分位数Q1、中位数、四分位数Q3、最大值；
    盒图：体现了五数概括；
        盒的长度是四分位数极差IQR；
        中位数用盒内的线标记；
        盒外的两条线（胡须）延伸到最小和最大观测值；如果最高或最低值超过四分位数的1.5倍IQR时，则胡须扩展到1.5xIQR终止，剩下的值个别绘出；

IV、方差和标准差

指出数据分布的散布程度；
低标准差：数据趋向于非常靠近均值；高标准差：数据散布在一个大的值域中。
标准差（standard deviation）σ（西格玛） 是方差 (Variance)σ^2（西格玛平方）的平方根；
一个观测一般不会远离均值超过标准差的倍数，是数据集发散的很好指示器。

---

3、数据的基本统计描述的图形显示：

这些图形是助于可视化的审视数据，对数据预处理是有用的。

I、分位数图 quantile plot
观察单变量数据分布的简单有效的方法。
    显示所有数据：评估总的情况和不寻常的数据；
    显示分位数信息，按递增顺序排序的数据，可以基于分位数比较不同的分布；

II、分位数-分位数图 quantile - quantile plot：
III、直方图 histogram
IV、散点图 scatter plot：确定两个数值变量之间看上去是否存在联系、模式或趋势的最有效的图形方法之一；用于观察 簇和离群点 或 考察相关联系的可能性。正相关、负相关、零相关；

综上所棕：基本数据描述（中心趋势度量、散布度量）和图形统计显示（分位数图、直方图、散点图）提供了数据总体情况的有价值的洞察。有助于识别噪声和离群点，所以对于数据清理特别有用。