线性回归

2020-02-18 本文已影响0人古城路揸fit人

条件期望与回归

理解条件期望（CEF，conditional expectation function）
$E\left[Y_{i} | X_{i}\right]$ 是 $X_{i}$ 给定的情况下 $Y_{i}$ 的期望，是 $X_{i}$ 的函数。

$X_{i}$ 可以为特定的值， $X_{i}=25$ 。

引出迭代期望定理：
$\mathrm{E}(Y_{i})=\mathrm{E}_{X}[\mathrm{E}(Y_{i} | X_{i})]$
对于给定 $X_{i}=x_{i}$ 的条件下再对Y的条件期望再对X 求期望。直观地理解方式是，如果要对全班求平均身高，你可以先对男生求平均身高，再对女生求平均身高，再求加权平均。

还有一种迭代期望公式
$E\left[Y_{i} | X_{i}\right]=E\left[E\left[Y_{i} | X_{i}, Z_{i}\right] | X_{i}\right]$
我们要求女生的平均身高，可以算每个女生的身高再平均，就是等式左边；或者分别测量北方和南方女生身高，再根据北方女生和南方女生的平均身高求加权平均。

此时，我们可以 $Y_{i}$ 进行分解
$Y_{i}=E\left[Y_{i} | X_{i}\right]+\epsilon_{i}$
这里的 $\boldsymbol{\epsilon}_{\boldsymbol{i}}$ 满足两个条件：（1）零均值；（2）与 $X_{i}$ 独立

线性回归和条件概率

$\beta=\arg \min _{b} E\left[Y_{i}-X_{i}^{\prime} b\right]^{2}$
求解得
$\beta=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} Y_{i}\right]$

$\beta=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} Y_{i}\right]=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} E\left[Y_{i} | X_{i}\right]\right]$

线性回归和因果关系

满足条件均值独立性，非混淆性的时候我们得到的估计值可以认为是平均因果效应

匹配和回归

匹配可以认为是一种组内随机化，在相同的层内，数据类似于完全随机化实验，层内两组的差异就是层内你的平均因果效应。
$\begin{aligned}\tau_{\mathrm{ATT}} &=E\left[Y_{1 i}-Y_{0 i} | D_{i}=1\right] \\ &=E\left\{E\left[Y_{1 i}-Y_{c i} | X_{i}, D_{i}=1\right] | D_{i}=1\right\} \\ &=E\left\{E\left[Y_{1 i} | X_{i}, D_{i}=1\right]-E\left[Y_{0 i} | X_{i}, D_{i}=1\right] | D_{i}=1\right\} \end{aligned}$
根据CIA条件，组内是随机分配的，也就意味着不同组别的是没有基线差异的。
$E\left[Y_{0 i} | X_{i}, D_{i}=1\right]=E\left[Y_{0 i} | X_{i}, D_{i}=0\right]$
那么
$\tau_{\mathrm{ATT}}=E\left\{E\left[Y_{i} | X_{i}, D_{i}=1\right]-E\left[Y_{i} | X_{i}, D_{i}=0\right] | D_{i}=1\right\}$
回归有的组内是没有控制组或者没有处理组的，匹配可以克服这一点。

线性回归

条件期望与回归

线性回归和条件概率

线性回归和因果关系

匹配和回归

猜你喜欢

热点阅读