数学建模系列笔记2：回归和时间序列

2022-02-24 本文已影响0人 Cache_wood

数学建模

@[toc]

3-1-1 一元线性回归

$E(y|X=x) = f(x)\\ \varepsilon = y -f(x)\\ 关系式 \quad y = f(x)+\epsilon$

一般，假设 $\varepsilon \sim N(0,\sigma^2)$

若 $f(x) = \alpha + \beta x$

称 $y = \alpha + \beta x + \varepsilon ,\varepsilon \sim N(0,\sigma^2)$ 为一元正态线性回归模型

回归分析要解决的主要问题：

参数估计
假设检验
预测

$Q = \sum_{i=1}^n (y_i-\hat{y}_i)^2 = \sum_{i=1}^n [y_i - (\alpha + \beta x_i)]^2 最小\\ 令 \quad \frac{\partial Q}{\partial \alpha} = 0,\frac{\partial Q}{\partial \beta} = 0\\ 得\quad \hat{\alpha} = \bar{y} - \hat{\beta}\bar{x}\\ \hat{\beta} = \frac{l_{xy}}{l_{xx}}\\ l_{xx} = \sum_{i=1}^n (x_i - \bar{x})^2,l_{xy} = \sum_{i=1}^n (x_i-\bar{x})(y_i - \bar{y})$

平方和分解式
$总平方和 \quad SST = \sum_{i=1}^n (y_i - \bar{y})^2\\ 回归平方和\quad SSR = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2\\ 残差平方和\quad SSE = \sum_{i=1}^n (y_i - \hat{y}_i)^2\\ SST = SSR+SSE$
假设检验

判定系数法

$皮尔逊相关系数 \quad R = \frac{l_{xy}}{\sqrt{l_{xx}l_{yy}}}\\ 判定系数\quad R^2 = 1-\frac{SSE}{SST}\\$

F检验法

$原假设 \quad H_0:\beta = 0\\ F = \frac{SSR/1}{SSE/(n-2)} \sim F(1,n-2)\\ F> F_{\alpha}(1,n-2)时，则拒绝原假设H_0$

t检验法

$原假设 \quad H_0:\beta = 0\\ t = \frac{\hat{\beta}}{\sqrt{\frac{SSE}{(n-2)}/l_{xx}}}\sim t(n-2)\\ 当 |t|> t_{\alpha /2}(n-2)时，则拒绝原假设 H_0$

3-1-2 多元线性回归

$\begin{pmatrix} y_1 \\ y_2 \\ …\\ y_n \end{pmatrix} = \begin{pmatrix} 1&x_{11} & x_{12} &…& x_{1k} \\ 1&x_{21} & x_{22} &…& x_{2k} \\ …&…&…&\quad &…&\\ 1&x_{31} & x_{32} &…& x_{nk} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ …\\ \beta_k \end{pmatrix} + \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ …\\ \varepsilon_n \end{pmatrix}$

$Y= X\beta + \varepsilon$

假设检验

判定系数法

$调整后R^2 :\bar{R}_{Adj}^2 = 1- \frac{SSE/(n-k-1)}{SST/(n-1)} = 1-\frac{n-1}{n-k-1}(1-R^2)$

F检验法

检验所有自变量与y之间的线性关系是否显著

原假设 $H_0：\beta_1 = \beta_2 = … = \beta_k = 0$
$F = \frac{SSR/k}{SSE/(n-k-1)}\sim F(k,n-k-1)\\ 当F>F_{\alpha}(k,n-k-1)时，则拒绝原假设H_0$

t检验

检验每个自变量与y之间的线性关系是否显著

原假设 $H_0:\beta_i = 0 (i=1,2,…,k)$
$t_i = \frac{\hat{\beta}_i}{\hat{\sigma}\sqrt{c_{ii}}}\sim t(n-k-1)$
当 $|t|>t_{\alpha/2}(n-k-1)$ 时，则拒绝原假设 $H_0$

预测

$当x_0 = (x_{01},x_{02},…x_{0k})时,y_0的点预测\\ \hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_{01} +… + \hat{\beta}_k x_{0k}\\ 当x_0 = (x_{01},x_{02},…x_{0k})时,y_0的置信度为1-\alpha 预测区间\\ (\hat{y}_0 + t_{\alpha/2(n-k-1)}MSE \sqrt{1+x_0' (X^TX)^{-1}x_0})$

使用逐步回归法进行自变量系数检验

3-1-3 非线性回归

非线性回归转化为线性回归

3-2-1 时间序列的平稳性

时间序列分析：一种定量分析方法，在时间序列变量分析的基础上，运用一定额数学方法建立预测模型，使时间趋势向外延伸，从而预测未来的发展变化趋势，确定变量预测值。
适用于大样本的随机因素或周期特征的未来预测。

平稳时间序列
- 随机变量族的统计特征完全由他们的联合分布函数或联合密度函数决定
- 时间序列概率分布族的定义
  $F_{t_1,t_2,…,t_m} (x_1,x_2,…,x_m)\\ m \in (1,2,…,m), t_1,t_2,…,t_m \in T$
特征统计量
$均值 \mu_t = EX_t = \int_{-\infty}^{\infty}xdF_t(x) = \int_{-\infty}^{\infty}xp(x)dx\\ 方差 \sigma_t = DX_t = E(X_t - \mu_t)^2 = \int_{-\infty}^{\infty}(x-\mu_t)^2dF_t(x)\\ 自协方差 \gamma(t,s) = E(X_t - \mu_t)(X_s - \mu_s)\\ 自相关系数 \rho(t,s) = \frac{\gamma(t,s)}{\sqrt{DX_t ·DX_s}}$

严平稳

一种比较苛刻的定义，认为只有当序列所有的统计性质都不会随着时间推移而发生变化时，该序列才能被认为平稳。
宽平稳

使用序列特征统计量来定义的一种平稳性。认为序列的统计性质主要由它的低阶矩决定，所以只要保证序列低阶矩平稳（二阶），就能保证序列的主要性质近似稳定。
1. $EX_t^2 < \infty ,\forall t\in T$
2. $EX_t = \mu, \mu为常数,\forall t \in T$
3. $\gamma (t,s) = \gamma (k,k+s-t),\forall t,s,k 且 k+s-t \in T$
平稳时间序列的统计性质
- 常数均值
- 自协方差函数和自相关函数只依赖于时间的平移长度而与时间的起止点无关
- 延迟k自协方差函数 $\gamma(k) = \gamma(t,t+k),\forall k为整数$
- 延迟k自相关系数 $\rho _k = \frac{\gamma(k)}{\gamma(0)}$
时间序列数据结构的特殊性

可列多个随机变量，而每个变量只有一个样本观察值
平稳性的重大意义
- 极大地减少了随机变量的个数，并增加了待估变量的样本容量
- 极大地简化了时序分析的难度，同时也提高了对特征估计量的估计精度
平稳性检验
- 时序图检验：平稳序列的时序图应该显示出该序列始终在一个常数值附近的随机波动，而且波动的范围有界、无明显趋势及周期特征
- 自相关图检验：平稳序列通常具有短期相关性

3-2-2 时间序列的白噪声检验

白噪声序列的定义：纯随机序列

$EX_t = \mu ,\forall t \in T\\ \gamma(t,s) = \left\{ \begin{array}{rcl} \sigma^2,t=s \\ 0,t\ne s \end{array} ,\forall t,s\in T\right.$

纯随机性
$\gamma(k) =0,\forall k \ne 0$
各序列值之间没有任何相关关系，即为“没有记忆”的白噪声序列
方差齐性

$DX_t = \gamma(0) = \sigma^2$

根据Markov定理，只有方差齐性假定成立时，用最小二乘法得到的未知参数估计值才是准确的，有效的

一个纯随机时间序列的延迟非零期的样本自相关系数将近似服从均值为零，方差为观察期数倒数的正态分布
$\rho_k \sim N（0，\frac{1}{n}),\forall k \ne 0$
原假设：延迟期数小于等于m期的序列值之间相互独立
$H_0:\rho_1 = \rho_1 = … = \rho_m = 0,\forall m>1$
备择假设：延迟期数小于等于k期的序列值之间有相关性

$H_1:至少存在某个\rho_k \ne 0,\forall m\geq 1,k\leq m$
- Q统计量
  $Q = n\sum_{k=1}^m \hat{\rho}_k^2 \sim \chi^2(m)$
- LB统计量
  $LB = n(n+2)\sum_{k=1}^m (\frac{\hat{\rho}_k^2}{n-k})\sim \chi^2(m)$
3-2-3 时间序列分析的步骤
平稳性检验

若非平稳则差分
白噪声检验

平稳后检验数据的纯随机性。若纯随机则时间序列数据之间无信息传递，此时无法建立ARMA模型，时间序列方法终止。
模型的识别

一般用AIC最小信息准则
参数的估计
- 矩估计
- 极大似然估计
- 最小二乘估计
模型的检验
- 参数的检验
- 模型残差的白噪声检验。一旦模型残差是白噪声，就说明模型拟合效果较好，达到要求。
运用模型进行预测

比较适合于做短期预测

总结

消除趋势后平稳且是白噪声序列，建立的模型是ARIMA(p,d,q).其中，d是指差分的阶数。
消除周期后平稳且是白噪声序列，建立的模型是ARIMA(p,(d,D),q). 其中，D是指D步差分。
消除周期后的模型有简单季节模型和乘积季节模型。