AI学习笔记之数学基础三（数理统计）

数理统计对已有的数据进行解释，它也是AI领域的重要组成部分。

1. 数理统计的意义：

基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释，只有做出合理的解读，数据的价值才能够体现。

2. 相关概念：

数理统计（mathematical statistics）根据观察或实验得到的数据来研究随机现象，并对研究对象的客观规律做出合理的估计和判断。

• 数理统计和概率论的关系
  • 数理统计以概率论为理论基础，研究对象则是未知分布的随机变量，研究方法是对随机变量进行独立重复的观察，根据得到的观察结果对原始分布做出推断。
  • 概率论作用的前提是随机变量的分布已知，根据已知的分布来分析随机变量的特征与规律；
  • 数理统计可以看成是逆向的概率论，以彩票为例：概率论根据摇奖规律判断中奖可能性，数理统计用以往的记录来推断。
• 样本（sample）：有限的数据集合。样本通常由对总体进行多次独立的重复观测而得到，这保证了不同的样本值之间相互独立，并且都与总体具有相同的分布。
• 总体（population）：观察对象所有的可能取值。数理统计的任务就是根据样本推断总体的数字特征。
• 样本均值：
• 样本方差：
• 参数估计（estimation theory）：通过随机抽取的样本来估计总体分布的方法
  • 点估计（point estimation）：在已知总体分布函数形式，但未知其一个或者多个参数时，借助于总体的一个样本来估计未知参数的取值就是参数的点估计。
    • 点估计的核心在于构造合适的统计量 θ̂ ，并用这个统计量的观察值作为未知参数 θ 的近似值。
    • 矩估计法（method of moments）：
      • 矩表示的是随机变量的分布特征，k 阶矩的定义为随机变量的 k次方的均值，即 E(X^k)。
      • 样本的 k 阶矩估计总体的 k 阶矩，样本矩的函数几乎处处收敛于总体矩的相应函数.
    • 最大似然估计法（maximum likelihood estimation）：
      • 既然抽样得到的是已有的样本值，就可以认为取到这一组样本值的概率较大，因而在估计参数 θ 的时候就需要让已有样本值出现的可能性最大。
      • 似然函数被定义为样本观测值出现的概率，确定未知参数的准则是让似然函数的取值最大化，也就是微积分中求解函数最大值的问题。
    • 估计量评价标准
      • 无偏性：估计量的数学期望等于未知参数的真实值；
      • 有效性：无偏估计量的方差尽可能小；
      • 一致性：当样本容量趋近于无穷时，估计量依概率收敛于未知参数的真实值。
    • 置信区间（confidence interval）：在估计未知参数 θ 的过程中，除了求出估计量，还需要估计出一个区间，并且确定这个区间包含 θ真实值的可信程度。
      • 对总体反复抽样多次，每次得到容量相同的样本，则根据每一组样本值都可以确定出一个置信区间 (θ−,θ¯)，其上界和下界是样本的两个统计量，分别代表了置信上限和置信下限。
    • 置信水平：对所有置信区间中包含 θ真实值的比率进行统计
  • 区间估计（interval estimation）：
• 假设检验（hypothesis test）：参数估计的对象是总体的某个参数，假设检验的对象则是关于总体的某个论断，即关于总体的假设。
  • 假设检验的作用就在于根据学习器在测试集上的性能推断其泛化能力的强弱，并确定所得结论的精确程度，可以进一步推广为比较不同学习器的性能。由于度量学习器性能的常用指标是错误率.
• 小概率事件：发生概率小于 1% 的事件。如果样本中出现了小概率事件，就认为这不是真正意义上的小概率事件，原始的假设也就此被推翻。
• 数理统计看监督学习：在假设空间中搜索能够针对特定问题做出良好预测的假设。
• 泛化能力：学习器通过对测试数据集的学习得到具有普适性的模型，这个模型适用于不属于测试集的新样本的能力被称为泛化能力。泛化能力越强，学习器就越好。
  • 对泛化性能的解释也是机器学习算法分析的重要内容。泛化误差的构成可以分为三部分：偏差（bias）、方差（variance）和噪声（noise）。
  • 偏差：算法预测值和真实结果之间的偏离程度，刻画的是模型的欠拟合特性；
  • 方差：数据的扰动对预测性能的影响，刻画的是模型的过拟合特性；
  • 噪声：在当前学习任务上能够达到的最小泛化误差，刻画的是任务本身的难度。
  • 偏差和方差都难以实现同时优化。