统计学习-笔记1

2018-12-23 本文已影响8人努力奋斗的durian

最近更新：2018-12-23

1.集中趋势
2.变异性
3.归一化
4.正态分布
5.抽样分布
6.估计

对于这部分的内容还是比较熟悉的,都是复习比较多,更加注重于练习与理解.

1.集中趋势

1.1众数

出现频率最高的数.

备注:

通过计数得到;
不易受数据中极端数值的影响

1.2中位数

把样本值排序，分布在最中间的值；
样本总数为奇数时，中位数为第(n+1)/2个值；
样本总数为偶数时，中位数是第n/2个，第(n/2)+1个值的平均数；

备注:

仅需把数据按数据顺序排列后即可确定;
不易受数据中极端数值的影响.

1.3平均数

所有数的总和除以样本数量；

备注:

需要全组所有数据来计算;
易受数据中极端数值的影响.

小结：
现在大家接触最多的概念应该是平均数，但有时候，平均数会因为某些极值(Outlier)的出现收到很大影响；

2.变异性

2.1 四分位数

上面说到了“中位数”，把样本分成了2部分，再找个这2部分各自的“中位数”，也就把样本分为了4个部分，其中1/4处的值记为Q1，2/4处的值记为Q2，3/4处的值记为Q3

2.2 四分位距 IQR=Q3-Q1

2.3 异常值（Outlier）：

小于Q1-1.5(IQR)或者大于Q3+1.5(IQR);

备注:对于异常值，我们在处理时需要剔除；

2.4 方差(Variance)：

2.5 平方偏差(Standard Deviation)：

方差的算术平方根

2.6 贝塞尔矫正：修正样本方差

-问：为什么要用贝塞尔矫正？

实际在计算方差时，分母要用n-1，而不是样本数量n，原因如下

3.归一化

3.1 标准分数(Z-score)

一个给定分数距离平均数多少个标准差？

标准分数是一种可以看出某分数在分布中相对位置的方法。

标准分数能够真实的反映一个分数距离平均数的相对标准距离。

适用条件:

正态分布总体抽样或样本容量大于30,两个条件满足其一即可.

4.正态分布

4.1 定义：

随机变量X服从一个数学期望为μ，方差为σ²的正态分布，记为N(μ,σ²)

随机取一个样本，有68.3%的概率位于距离均值μ有1个标准差σ内；

有95.4%的概率位于距离均值μ有2个标准差σ内；
有99.7%的概率位于距离均值μ有3个标准差σ内；

备注:
正态分布也称高斯分布,具有集中性,对称性特征.

5.抽样分布

5.1 中心极限定理(Central Limit Theorem)

设从均值为μ，方差为σ²的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为μ、方差为σ²/n的正态分布

5.2 抽样分布(Sampling Distributions)

设总体共有N个元素，从中随机抽取一个容量为n的样本，在重置抽样时，共有N·n种抽法，即可以组成N·n不同的样本，在不重复抽样时，共有N·n个可能的样本。

每一个样本都可以计算出一个均值，这些所有可能的抽样均值形成的分布就是样本均值的分布。但现实中不可能将所有的样本都抽取出来，因此，样本均值的概率分布实际上是一种理论分布。

数理统计学的相关定理已经证明：在重置抽样时，样本均值的方差为总体方差的1/n

比较常见的分布主要有卡方分布,T分布,F分布.

6.估计

6.1 误差界限(Margin of error)

主要是抽样方法引起的误差.当由总体中随机地抽取样本时,哪个样本被抽到是随机的,由所抽到的样本得到的样本指标x与总体指标u之间偏差,称为实际抽样误差.

抽样误差是统计推断所固有的,虽然无法避免,但是可以运用数学公式计算,确定其具体的数量界限.

6.2 置信度(Confidence level)

我们有百分之多少确信总体中的值落在一个特定范围内；

一般情况下，取95%的置信度就可以；