1 如何用自助法或刀切法估计偏差、方差？

2019-01-28 本文已影响0人司马山哥

1.1 Bootstrap自助法

有两种形式：非参数bootstrap和参数化的bootstrap，但基本思想都是模拟。
1)参数化的bootstrap假设总体的分布已知或总体的分布形式已知，可以由样本估计出分布参数，再从参数化的分布中进行再采样，类似于MC。
2)非参数化的bootstrap是从样本中再抽样，而不是从分布函数中进行再抽样。

——自助法估计统计量的偏差（非参数）

假设是我们的估计量为 $\theta$ ，样本大小为N，从样本中有放回的再抽样N个样本，原来每一个样本被抽中的概率相同，均为1/N，得到新的样本我们称为Bootstrap样本，重复B次之后我们得到B个bootstrap样本集，在第i个样本集上都有对应的估计量 $\theta_i$ ，对于B个，我们可以计算得到标准误，置信区间，偏置等。

1.2 刀切法

Jackknife(刀切法)是有Maurice Quenouille (1949)提出的一种再抽样方法，其原始动机是降低估计的偏差。Jackknife类似于“Leave one out”的交叉验证方法。令X=(X1,X2,…,Xn)为观测到的样本，定义第i个Jackknife样本为丢掉第i个样本后的剩余样本即

刀切法原理.png
由此生成的Jackknife样本集之间的差异很小，每两个Jackknife样本中只有两个单个的原始样本不同。

——Jackknife不适合的场合

统计函数不是平滑函数：数据小的变化会带来统计量的一个大的变化如极值、中值。如对数据X=(10,27,31,40,46,50,52,104,146)的中值得到的结果为48,48,48,48,45,43,43,43,43,偶数个数的中值为最中间两个数的平均值。

1.3 Jackknife与Bootstrap自助法的联系

Efron1979年文章指出了自助法与刀切法的关系。首先，自助法通过经验分布函数构建了自助法世界，将不适定的估计概率分布的问题转化为从给定样本集中重采样。第二，自助法可以解决不光滑参数的问题。遇到不光滑(Smooth)参数估计时，刀切法会失效，而自助法可以有效地给出中位数的估计。第三，将自助法估计用泰勒公式展开，可以得到刀切法是自助法方法的一阶近似。第四，对于线性统计量的估计方差这个问题，刀切法或者自助法会得到同样的结果。但在非线性统计量的方差估计问题上，刀切法严重依赖于统计量线性的拟合程度，所以远不如自助法有效。