基础统计学(9)显著性检验
Hypotheses and significance tests
7.01 Hypotheses
假设
什么是假设?
假定一个总体的参数落在某个值上或者某个范围内,这个值在原有学习和研究的基础上得到的。
我们使用Significance testing(显著性检验)来对样本进行分析来判断这个值是否正确.
显著性假设是通过推断分析(比如置信区间)来实现:通过样本数据来画出总体的置信区间。
假设分 null hypotheses(H0零假设) 和 alternative hypotheses(备择假设 Ha)
零假设是指某个特定的值,它和我们期望的值是相悖的;而备择假设是某个范围,它和零假设是互斥的.
显著性检验是假定零假设为真,除非你的数据提供了明显的反对证明.
以法庭为例: 证明被告无罪是零假设,有罪是备择假设。我们要证明被告有罪,必须要有强有力的证据证明反对被告无罪。(先要证明零假设不成立)
一般的场景都是先有备择假设(研究者有一个值范围),然后我们提出一个对立的零假设,然后证明它是不成立的。
最后注意:
我们使用显著性检验的方法始终是假设零假设为真,而不是证明备择假设是否成立.
重要:证明备择假设不成立,并不意味着零假设成立. 同样以法庭为例: 我们不能证明被告有罪,并不能就判定被告无罪.
7.02 Test about proportion
检验比例
test statistic(检定统计量): The number of standard error(标准误差的数量).
使用以上公式可以检验某个零假设是否在显著区域内,在显著区域内,表示该显著级别内零假设成立,反之可以推翻零假设
算出了检定统计量后,通过在z-table中查找对应的概率p-value,判断其是否在显著性水平(significance level)范围内
p-value: z值在 z-table中对应的几率
significance level: 若significance level = 0.01, 表示在这个p-value在0.01之外的区域是reject的
reject region: 在significance level之外的区域
最后注意:
反驳区域分单头和双头,最终的结果也是不一样的,见图
significant_1.png
影响显著性检验结果的条件有两个:
-
单头还是双头
大部分都是双头的
-
显著性水平
默认的显著性级别是0.05
7.03 Test about mean
平均值的显著性检验
思想同7.02, 公式同置信区间一样不同
计算出检定统计量后在t_table(因为我们使用是样本的标准差,引入了标准误差)中查找对应的概率,然后再判断概率是否在显著性水平之内还是之外。
同样影响它的结果的条件有2个:
- 单头还是双头
- 显著性水平
Step-by-step plan and confidence interval
7.04 Step-by-step plan
一步一步计划
要实现一个显著性检验,按如下步骤进行
-
Proportion or mean ? 比例还是平均值
-
规划假设
-
Proportion
H0:=
Ha: <> > <
-
mean
H0:=
Ha: <> > <
-
-
检查假定满足条件
-
propotion
randomization
n >= 15
n(1- ) >= 15
-
mean
randomization
总体的分布接近正态分布(如果n的值比较小则进行单头检验)
-
-
选定显著性水平 ,通常是0.05
-
计算检定统计量(terst statistic)
-
画出抽样分布图
画出推翻区域的值和关键点
-
找到检定统计量的位置
-
判断是否reject H0(推翻零假设)
-
描述我们的检验结果
7.05 Significance test and confidence interval
显著性检验和置信区间
它们2个方法不同,但是在数学表达上有联系
在相同置信水平95%和显著性水平0.05下,若零假设在置信区间内,则表示零假设不能被推翻
7.06 Type I and Type II errors
I型错误和II型错误
产生2种错误的原因是由于显著水平的存在
实际 | 不推翻 | 推翻 |
---|---|---|
H0 为true | yes | I型错误: , power(推翻零假设的概率): |
H0 为false | II型错误: | yes |
减少显著性水平 -> 减少犯I型错误的机会 ->增加犯II型错误的机会
我们往往不知道真实的结果(H0为真还是为假),但是我们可以通过控制错误决策的概率(通过power值的设定)