条件期望误差的有限性

1 CEF error的有限性问题

在回归中，记条件期望函数（conditional expectation function，CEF）为，则可将因变量分解为

可记为条件期望函数误差（CEF error）。

显然，满足，，这些都很容易证明。下面来看一个关于的有限性的问题：

若对于有，求证。

从直觉上说，是用条件期望函数对做了解释后留下的残差，那么的有限性应该可以保证的有限性。但要证明它，却比较复杂。

2 证明

首先我们利用Minkowski不等式，有

由已知条件，第一项是有限的。

对于第二项，由于在时为凸函数，由Jensen不等式，即有

再对两边取期望后取次幂，可得

由已知条件可知，这一项也是有限的。

3 扩展

若我们关注，就变成了CEF error的无条件方差。结论重新表述如下：

若，则。

事实上，若对于多个解释变量，则不断加入解释变量后，残差的方差必将减小，即若，必有

为什么？

证明：先利用和Jensen不等式，我们可以得到

两边取期望后有

同理，利用和Jensen不等式，可得到，与上面的式子放在一起有

三个地方都同时减去，可得

另一方面，我们已有，再记，则，因此

而为常数，因此，越大，越小，即