假设检验简介
在统计分析中经常要对某个假设作出判断,例如判断两个分组的某个指标是否具有差异,差异的程度如何,是否具有统计学意义,这些都需要进行假设检验。 在很多文献的统计检验部分,包括组间差异分析,组间差异检验和差异物种分析部分都需要用到假设检验的内容。 下面简单介绍一下假设检验的一般步骤。首先看下相关的一些基本概念。
包含所研究的全部个体(数据)的集合,称为总体(population)
从总体中抽取的一部分元素的集合,称为样本(sample)
用来描述总体特征的概括性数字度量,称为参数(parameter)
用来描述样本的概括性数字度量,称为统计量(statistic)
我们所关心的参数通常有总体平均数,总体标准差和总体比例等。与总体相对应我们通常关心的统计量有样本平均数、样本标准差、样本比例等。由于总体的无限性和总体参数较难确定,通常可以从总体中随机抽取样本,通过计算样本的统计量来估计总体的参数。例如,我们要判断污染环境中和非污染环境中的微生物具有差异,我们不可能测定两种环境中的所有微生物,因为环境中的微生物是无限的。我们通常是从两种环境中抽取样本,根据样品的一些指标或统计量来判断两种环境具有差异,这就是用样本来估计总体的例子。
简单来说,假设检验就是先对总体参数提出某种假设,然后利用样本信息判断假设是否成立的过程。假设检验一般分为 4 个步骤:
(1)提出假设
在假设检验中,首先需要提出两种假设,即原假设和备选假设。 通常将研究者想收集证据予以反对的假设称为原假设,或称零假设,用 H0 表示。 通常将研究者想收集证据予以支持的假设称为备选假设,或称研究假设,用 H1 表示。原假设所表达的含义总是表述为组间没有差异,变量之间没有关系。与原假设对立,备选假设通常表述为组间具有差异,药物疗效显著提高等。假设检验的一般思路就是先假定 H0 成立,然后从逻辑从对立面证明真理。
(2)构造检验统计量
根据样本观测结果计算得到的,并据以对原假设和备选假设作出决策的某个样本统计量,称为检验统计量。 在进行假设检验时,根据检验的目的不同检验统计量有不同的计算方法。检验统计量还取决于所抽取的样本数和总体的分布情况。
(3) 根据显著水平,确定临界值和拒绝域
当原假设正确时拒绝原假设,所犯的错误称为第Ⅰ类错误。犯第Ⅰ类错误的概率,称为显著性水平记为α。根据显著性水平确定的拒绝域的边界值,称为临界值。 当总体分布已知时,例如总体服从正态分布,我们可以根据给定的显著性水平(通常为 0.01 或 0.05)查表获得临界值。当总体分布未知时,可以先用 Permutation test 构造经验分布,再根据显著性水平获得临界值。
(4)做出检验决策
将第(2)步计算出的检验统计量与(3)步获得的临界值进行比较,作出拒绝或不拒绝原假设的决策。
传统的统计量检验的方法是在检验之前确定显著性水平α,也就意味着事先确定了临界值和拒绝域。这样,不论检验统计量的值是大还是小,只要它的值落入拒绝域就拒绝原假设,否则就不拒绝原假设。这种给定显著性水平的方法,无法给出观测数据与原假设之间不一致程度的精确度量。要测量出样本观测数据与原假设中假设值的偏离程度,则需要计算 pvalue值。 pvalue 值,也称为观测到的显著性水平,它表示为如果原假设 H0正确时得到实际观测样本结果的概率。pvalue 值越小,说明实际观测到的数据与 H0之间的不一致的程度就越大,检验的结果就越显著[1]。
参考文献
[1] 贾俊平,统计学基础[M].中国人民大学出版社,2010.