1 回归的概念 线性回归的导出

回顾 前面的定义, 回归就是要对数值变量寻找线性关系. 如果只是二维情况, 这直观地等价于找一条直线能很好拟合坐标平面上看起来很线性的一列点.
现在从理论的角度, 假设 ${\displaystyle (X,Y)}$ 有联合概率分布, 且存在 二阶矩, 则当 ${\displaystyle X=x}$, 可以确定 ${\displaystyle Y}$ 的条件分布 ${\displaystyle \mathbb{P}(\cdot |x)}$, 从而有一个条件均值 ${\displaystyle \mathbb{E}[Y|x]}$ 是关于 ${\displaystyle x}$ 的函数. 如图所示.

图中的虚线是 ${\displaystyle Y}$ 条件密度, 它们按着这个分布散布在 ${\displaystyle y=\mathbb{E}[Y|x]}$ 上下.

现在我们需要考虑, 把 ${\displaystyle x}$ 换成一个 ${\displaystyle f(x)}$ 进行回归, 是否结果会比 ${\displaystyle \mathbb{E}[Y|x]}$ 更好? 我们首先要定义好坏的标准.

从上面的证明看出, ${\displaystyle {\hat{Y}}_x=\mathbb{E}[Y|x]}$ 时, 预测误差 ${\displaystyle \epsilon =Y-\mathbb{E}[Y|x]}$ 满足 $$\mathbb{E}\epsilon =0,\mathrm{Var}(\epsilon )=\mathbb{E}{\epsilon }^2=\mathrm{Var}(Y)-\mathrm{Var}(M).$$
(记号改写成 ${\displaystyle {\epsilon }_x=Y_x-\mathbb{E}[Y|x]}$).

定义预测精度 ${\displaystyle \lambda =\frac{\mathrm{Var}(\epsilon )}{\mathrm{Var}(Y)}}$. 有 $$\lambda =1-\frac{\mathrm{Var}(M)}{\mathrm{Var}(Y)}=1-{\rho }^2(Y,M).$$
现在把模型改写成 $$Y_x=\underset{\text{主要部分}}{\underbrace{\mathbb{E}[Y|x]}}+\underset{\text{预测误差}}{\underbrace{{\epsilon }_x}}.$$
如果 ${\displaystyle \mathbb{E}[Y|x]}$ 是关于 ${\displaystyle x}$ 的线性函数, 即 $$\mathbb{E}[Y|x]={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p,$$ 则模型改写为

1.1 正态情形

在正态情形下, 线性函数的预测是最佳的.
设 ${\displaystyle z=(y,x_1,\cdots ,x_p{)}^{\mathrm{T}}\sim \mathcal{N}(v,V)}$ 服从 ${\displaystyle p+1}$ 维正态分布, 密度函数为 $$f(z)=(2\pi {)}^{-\frac{p+1}{2}}(detV{)}^{-\frac{1}{2}}\exp \{-\frac{1}{2}(z-v{)}^{\mathrm{T}}{V}^{-1}(z-v)\}.$$ 记 ${\displaystyle V^{-1}=\left[\begin{array}{cc}{v}^{11}& v^{\mathrm{T}}\\ v& V^{22}\end{array}\right]}$ (${\displaystyle v\in {\mathbb{R}}^p}$), ${\displaystyle \mathbb{E}y=\theta ,\mathbb{E}x=\overrightarrow{\mu }}$. 记 ${\displaystyle x}$ 的边缘密度为 ${\displaystyle \phi (x)}$, 则 $$\mathbb{E}[Y|x]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}y(2\pi {)}^{-\frac{p+1}{2}}(detV{)}^{-\frac{1}{2}}\exp \{-\frac{1}{2}(z-v{)}^{\mathrm{T}}{V}^{-1}(z-v)\}\phi (x{)}^{-1}\mathrm{d}y.$$ 将 ${\displaystyle Q=(z-v{)}^{\mathrm{T}}{V}^{-1}(z-v)}$ 关于 ${\displaystyle y}$ 重新配方, $$\begin{array}{rl}Q& =(y-\theta {)}^2{v}^{11}+2(y-\theta )v^{\mathrm{T}}(x-\mu )+(x-\mu {)}^{\mathrm{T}}{V}^{22}(x-\mu )\\ & =v^{11}[y-\theta +(v^{11}{)}^{-1}{v}^{\mathrm{T}}(x-\mu ){]}^2+c,\end{array}$$
从而 ${\displaystyle Y}$ 的条件密度是正态的, 所以 ${\displaystyle \mathbb{E}[Y|x]=\theta -(v^{11}{)}^{-1}{V}^{\mathrm{T}}(x-\mu )}$ 是关于 ${\displaystyle x}$ 的线性函数.

1.2 最小均方误差线性预测

容易看出 ${\displaystyle M(x)}$ 对 ${\displaystyle Y}$ 的预测是无偏的, 预测精度为 $${\lambda }_{\mathrm{L}}=1-{\sigma }_{YX}{\mathrm{\Sigma }}_{XX}^{-1}\frac{{\sigma }_{X{Y}^{\mathrm{T}}}}{{\sigma }_Y^2}=1-{\rho }_{Y,X}^2.$$ 一般 ${\displaystyle {\lambda }_{\mathrm{L}}}$ 大于 这里的 ${\displaystyle \lambda }$.

记 ${\displaystyle {\beta }_0=\mathbb{E}Y-{\sigma }_{YX}{\mathrm{\Sigma }}_{XX}^{-1}\mathbb{E}x}$, ${\displaystyle \beta ={\mathrm{\Sigma }}_{XX}^{-1}{\sigma }_{X{Y}^{\mathrm{T}}}}$, 得总体线性回归模型为 $$\begin{array}{}\text{(1.3)}& Y={\beta }_0+{\beta }^{\mathrm{T}}x+\epsilon .\end{array}$$
称 ${\displaystyle y={\beta }_0+{\beta }^{\mathrm{T}}x}$ 为回归方程, ${\displaystyle \beta }$ 称为回归系数.

2 回归系数的估计 经验回归

在实际问题中, 我们无法得到总体的二阶矩, 需要用样本来估计. 设容量为 ${\displaystyle n}$ 的简单随机样本 $$y=\left(\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right),X=\left(\begin{array}{ccc}{x}_{11}& \cdots & x_{1p}\\ ⋮& \ddots & ⋮\\ x_{n1}& \cdots & x_{np}\end{array}\right),$$ 记 ${\displaystyle \mathbf{1}=(1,\cdots ,1{)}^{\mathrm{T}}}$, 得样本模型 $$y=(1X)\left(\begin{array}{c}{\beta }_0\\ \beta \end{array}\right)+\epsilon .$$

假设这个式子就是回归分析模型. 此时设计矩阵的秩 ${\displaystyle \mathrm{rank}((1X))=p+1}$.^[1] 简记 ${\displaystyle Z=(1X)}$, ${\displaystyle \theta =({\beta }_0{\beta }^{\mathrm{T}}{)}^{\mathrm{T}}}$. 从而上式改写为 $$y=Z\theta +\epsilon .$$

考虑最小二乘问题 $$||y-Z\hat{\theta }|{|}^2=\underset{\theta \in {\mathbb{R}}^{p+1}}{min}||y-Z\theta |{|}^2.$$

由此得到解 $$\begin{array}{}\text{(2.1)}& \hat{\theta }=(Z^{\mathrm{T}}Z{)}^{-1}{Z}^{\mathrm{T}}y.\end{array}$$
它就是 ${\displaystyle \theta }$ 的最小二乘估计. ^[2] 记 ${\displaystyle \hat{\theta }=({\hat{\beta }}_0{\hat{\beta }}^{\mathrm{T}}{)}^{\mathrm{T}}}$, 则它称为 ${\displaystyle {\beta }_0,\beta }$ 的经验回归系数. 相应的 $$\begin{array}{}\text{(2.2)}& \hat{y}={\hat{\beta }}_0+{\hat{\beta }}^{\mathrm{T}}x\end{array}$$ 就是经验回归方程, ${\displaystyle {\hat{\beta }}_0+{\hat{\beta }}^{\mathrm{T}}x}$ 是经验回归函数.

在 ${\displaystyle p=1}$ 时,

有 $$\begin{array}{}\text{(2.3)}& \{\begin{array}{rl}& {\hat{\beta }}_0=\frac{\sum _{i=1}^n{x}_i^2\sum _{i=1}^n{y}_i-\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i{y}_i}{n\sum _{i=1}^n{x}_i^2-{\left(\sum _{i=1}^n{x}_i\right)}^2},\\ & {\hat{\beta }}_1=\frac{n\sum _{i=1}^n{x}_i{y}_i+\sum _{i=1}^n{x}_i\sum _{i=1}^n{y}_i}{n\sum _{i=1}^n{x}_i^2-{\left(\sum _{i=1}^n{x}_i\right)}^2}.\end{array}\end{array}$$
一般情形下, $$\begin{array}{}\text{(2.4)}& \left(\begin{array}{c}{\hat{\beta }}_0\\ \hat{\beta }\end{array}\right)={\left(\begin{array}{cc}n& 1^{\mathrm{T}}X\\ X^{\mathrm{T}}1& X^{\mathrm{T}}X\end{array}\right)}^{-1}\left(\begin{array}{c}{1}^{\mathrm{T}}y\\ X^{\mathrm{T}}y\end{array}\right).\end{array}$$

3 预测区域

我们需要衡量预测的可靠性, 也即如何找到一个区域, 它包含待预测的 ${\displaystyle y_{\ast }}$ 的概率不低于 ${\displaystyle 1-\alpha }$? (也即前面的 置信区间). 我们假设总体分布 ${\displaystyle y\sim {\mathcal{N}}_n(X\beta ,{\sigma }^{2}I)}$.

现在对回归模型 ${\displaystyle Y=X\beta +\epsilon }$, 记最小二乘估计为 ${\displaystyle \hat{\beta }=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y}$. 称残差平方和为 ${\displaystyle S_{\epsilon }^2=||y-x\hat{\beta }|{|}^2}$. 容易看出 $$S_{\epsilon }^2=y^{\mathrm{T}}{P}_{X^{\perp }}y,$$ 这里 ${\displaystyle P_{X^{\perp }}=I-X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}}$ 是正投影阵. 而 ${\displaystyle \hat{y}=X\hat{\beta }=P_{X}y}$, 这里 ${\displaystyle P_X=X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}}$ 是 ${\displaystyle \mathrm{span}\{\mathrm{Col}(X)\}}$ 的正投影阵. 于是

如果在历史样本基础上已经得到回归方程 ${\displaystyle \hat{y}=X^{\mathrm{T}}\hat{\beta }}$, 且有新的试验点 ${\displaystyle x_{\ast }=(x_1,\cdots ,x_p{)}^{\mathrm{T}}}$. 现在需要求 ${\displaystyle x_{\ast }}$ 上的观察值 ${\displaystyle y_{\ast }}$.
因为 ${\displaystyle y_{\ast }\sim {\mathcal{N}}_1(x_{\ast }^{\mathrm{T}}\beta ,{\sigma }^2)}$. 令 ${\displaystyle {\hat{y}}_{\ast }=x_{\ast }^{\mathrm{T}}\hat{\beta }=x_{\ast }^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y}$, 得 $$y_{\ast }-{\hat{y}}_{\ast }\sim {\mathcal{N}}_1(0,{\sigma }_{\ast }^2).$$ 因为 ${\displaystyle y_{\ast }\perp \perp y}$, 因而也和 ${\displaystyle {\hat{y}}_{\ast }}$ 独立. 故 $${\sigma }_{\ast }^2={\sigma }^2+{\sigma }^2{x}_{\ast }^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{x}_{\ast }={\sigma }^2{\rho }^2,$$ 这里 ${\displaystyle {\rho }^2=1+x_{\ast }^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{x}_{\ast }}$. 根据 定理, ${\displaystyle {\sigma }^{-2}{S}_{\epsilon }^2\sim {\chi }_{n-p}^2}$, 且 ${\displaystyle S_{\epsilon }^2\perp \perp y_{\ast }-{\hat{y}}_{\ast }}$. 故 $$T=\frac{y_{\ast }-{\hat{y}}_{\ast }}{S_{\epsilon }\rho }\sqrt{n-p}\sim t_{n-p}.$$
记 ${\displaystyle t_{n-p}(\alpha )}$ 是 ${\displaystyle t_{n-p}}$ 上的 ${\displaystyle \alpha }$ 分位点 ^[4]. 对于置信系数 ${\displaystyle 1-\alpha }$, $$\mathbb{P}(|T|\le t_{n-p}\left(\frac{\alpha }{2}\right))=1-\alpha ,$$ 从而得到区间 ${\displaystyle {\hat{y}}_{\ast }\pm t_{n-p}\left(\frac{\alpha }{2}\right)S_{\epsilon }\rho (n-p{)}^{-\frac{1}{2}}}$.

我们可以把 ${\displaystyle y_1,y_2}$ 看作 ${\displaystyle x_{\ast }=(x_1^{\ast },\cdots ,x_p^{\ast })}$ 的函数, 则 ${\displaystyle y=y_1,y=y_2}$ 是 ${\displaystyle {\mathbb{R}}^{p+1}}$ 中的两个曲面, 它们夹的区域称为预测带.

如果有 ${\displaystyle m}$ 个试验点 ${\displaystyle x_{\ast }=(x_{\alpha l})}$ 上的观察值 ${\displaystyle y_{\ast }=(y_{1^{\ast }},\cdots ,y_{m^{\ast }}{)}^{\mathrm{T}}}$ 的预测区域, 则可以仿照上面给出. 此时 ${\displaystyle {\hat{y}}_{\ast }=X_{\ast }\hat{\beta }=X_{\ast }(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y}$. 由 ${\displaystyle y_{\ast }\perp \perp y\Rightarrow y_{\ast }\perp \perp {\hat{y}}_{\ast }}$, 从而$$\begin{array}{rl}& \mathbb{E}(y_{\ast }-{\hat{y}}_{\ast })=0,\\ & \mathrm{Cov}(y_{\ast }-{\hat{y}}_{\ast })={\sigma }^2{I}_m+{\sigma }^2{X}_{\ast }(X^{\mathrm{T}}X{)}^{-1}{X}_{\ast }^{\mathrm{T}}.\end{array}$$ 记 ${\displaystyle \mathrm{\Sigma }=I_m+X_{\ast }(X^{\mathrm{T}}X{)}^{-1}{X}_{\ast }^{\mathrm{T}}}$, 它当然是正定矩阵.
因为 ${\displaystyle {\sigma }^{-1}{\mathrm{\Sigma }}^{-\frac{1}{2}}(y_{\ast }-{\hat{y}}_{\ast })\sim {\mathcal{N}}_m(0,I_m)}$, 有 $${\sigma }^{-2}(y_{\ast }-{\hat{y}}_{\ast }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(y_{\ast }-{\hat{y}}_{\ast })\sim {\chi }_m^2.$$ 因为 ${\displaystyle y_{\ast },{\hat{y}}_{\ast }\perp \perp S_{\epsilon }^2}$, 我们有 $$F=\frac{(y_{\ast }-{\hat{y}}_{\ast }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(y_{\ast }-{\hat{y}}_{\ast })}{S_{\epsilon }^2}\cdot \frac{n-p}{m}\sim F_{m,n-p.}$$ 此时 $$\mathbb{P}((y_{\ast }-{\hat{y}}_{\ast }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(y_{\ast }-{\hat{y}}_{\ast })\le \frac{m}{n-p}{S}_{\epsilon }^2{F}_{m,n-p}(\alpha ))=1-\alpha .$$ 由于 $$c(y)=\left\{y|(y-{\hat{y}}_{\ast }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(y_{\ast }-{\hat{y}}_{\ast })\le \frac{m}{n-p}{S}_{\epsilon }^2{F}_{m,n-p}(\alpha )\right\}$$ 是 ${\displaystyle {\mathbb{R}}^m}$ 中的椭球, 得 ${\displaystyle c(y)}$ 是 ${\displaystyle y_{\ast }}$ 的 ${\displaystyle 1-\alpha }$ 置信系数的预测区域.

3.1 预测区域的精度

预测区域"包含"${\displaystyle y_{\ast }}$"这件事并没有什么意义, 还需要让预测区域越小越好. 当 ${\displaystyle m=1}$, 取 ${\displaystyle \mathrm{\Delta }=y_2-y_1}$ (区间长度), 则 $${\mathrm{\Delta }}^2=(y_2-y_1{)}^2={\left(t_{n-p}\left(\frac{\alpha }{2}\right)\right)}^2{S}_{\epsilon }^2(1+x_{\ast }^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{x}_{\ast })(n-p{)}^{-1}.$$ 不难算出均值 $$\mathbb{E}{\mathrm{\Delta }}^2={\left(t_{n-p}\left(\frac{\alpha }{2}\right)\right)}^2{\sigma }^2(1+x_{\ast }^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{x}_{\ast })>{\left(t_{n-p}\left(\frac{\alpha }{2}\right)\right)}^2{\sigma }^2.$$
称 ${\displaystyle X^{\mathrm{T}}X}$ 为信息矩阵, 它如果特征值很小, 则预测精度可能很低.
而对于多个点的情形, 注意到 $$\mathbb{E}[\frac{m}{n-p}{S}_{\epsilon }^2{F}_{m,n-p}(\alpha )]=m{\sigma }^2{F}_{m,n-p}(\alpha ),$$ 且 ${\displaystyle {\mathrm{\Sigma }}^{-1}}$ 特征值小于 ${\displaystyle 1}$. 可以计算出它的精度低于 ${\displaystyle m=1}$ 的情形.

4 显著性检验

我们现在可以从样本来进行线性回归. 但是所得回归函数是否是整个原模型的好的拟合? 我们可以进行假设检验.

4.1 检验系数是否为 0 向量

为了检验模型 ${\displaystyle y=1{\beta }_0+X\beta +\epsilon }$ 的合理性, 可以提出假设 $$H_0:\beta =0.$$ 这里如果接受 ${\displaystyle H_0}$ 则显然线性模型很不可信. 虽然拒绝 ${\displaystyle H_0}$ 也不一定说明线性性, 但至少我们倾向于接受模型.

为了检验 ${\displaystyle H_0}$, 记 $$S_{\epsilon }^2=\underset{{\beta }_0,\beta }{min}||y-1{\beta }_0-X\beta |{|}^2,S_0^2=\underset{{\beta }_0}{min}||y-1{\beta }_0|{|}^2.$$ 已知 ${\displaystyle S_{\epsilon }^2=||P_{(1X{)}^{\perp }}y|{|}^2=y^{\mathrm{T}}{P}_{(1X{)}^{\perp }}y}$, 容易算出 $$S_0^2=||P_{1^{\perp }}y|{|}^2=y^{\mathrm{T}}{P}_{1^{\perp }}y.$$
${\displaystyle H_0}$ 成立时, $$\begin{array}{rl}{\mathbb{E}}_0(S_0^2)& ={\mathbb{E}}_0(\mathrm{tr}(P_{1^{\perp }}y{y}^{\mathrm{T}}))=\mathrm{tr}(P_{1^{\perp }}{\mathbb{E}}_0(y{y}^{\mathrm{T}}))\\ & =\mathrm{tr}(P_{1^{\perp }}[\mathrm{Cov}y+{\mathbb{E}}_{0}y({\mathbb{E}}_{0}y{)}^{\mathrm{T}}])=(n-1){\sigma }^2.\end{array}$$
${\displaystyle H_0}$ 不成立时, 如果假设原模型为真, 则 $${\mathbb{E}}_1(S_0^2)=(n-1){\sigma }^2+||P_{1^{\perp }}X\beta |{|}^2>{\mathbb{E}}_0(S_0^2).$$
因此考虑 ${\displaystyle S_0^2}$ 较大时拒绝 ${\displaystyle H_0}$. 但是 ${\displaystyle S_0^2\sim {\sigma }^2{\chi }_{n-1}^2}$, 含有未知参数, 不能作为检验量. 为此引入 ${\displaystyle S_{\mathrm{H}}^2=S_0^2-S_{\epsilon }^2}$, 则 $$S_{\mathrm{H}}^2=y^{\mathrm{T}}(P_{(1X)}-P_1)y\ge 0.$$ 因为 ${\displaystyle S_{\mathrm{H}}^2+S_{\epsilon }^2=S_0^2}$, 由 Cochran定理 有 $${\sigma }^{-2}{S}_{\mathrm{H}}^2\sim {\chi }_p^2(\delta ),{\sigma }^{-2}{S}_{\epsilon }^2\sim {\chi }_{n-p-1}^2,$$ 且两者独立. 故 $$F=\frac{S_{\mathrm{H}}^2}{S_{\epsilon }^2}\cdot \frac{n-p-1}{p}\sim F_{p,n-p-1,\delta }.$$
当 ${\displaystyle H_0}$ 成立时 ${\displaystyle {\delta }^2={\sigma }^{-2}{\beta }_0{1}^{\mathrm{T}}(P_{(1X)}-P_1)1{\beta }_0=0}$, 从而 ${\displaystyle F\sim F_{p,n-p-1}}$. 从而得到拒绝域 ${\displaystyle \{F\ge F_{p,n-p-1}(\alpha )\}}$.

4.2 检验分量是否为 0

我们还需要检验 ${\displaystyle H_{0i}:{\beta }_i=0}$. 这用来检验各个因子是否显著.
为了讨论方便, 假设 ${\displaystyle {\beta }_0=0}$, 此时回归函数变为 ${\displaystyle y=X\hat{\beta }}$, 其中 $$\hat{\beta }=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y,{\hat{\beta }}_i=e_i^{\mathrm{T}}(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y,$$ 而 ${\displaystyle e_i=(0,\cdots ,0,\underset{i}{\underbrace{1}},0,\cdots ,0{)}^{\mathrm{T}}}$. 记 ${\displaystyle c=(X^{\mathrm{T}}X{)}^{-1}=(c_{ij})}$, 则 ${\displaystyle {\hat{\beta }}_i\sim \mathcal{N}({\beta }_i,{\sigma }^2{c}_{ii})}$. 由于残差平方和 ${\displaystyle S_{\epsilon }^2=y^{\mathrm{T}}{P}_{X^{\perp }}y\perp \perp {\hat{\beta }}_i}$, 令 $$F=\frac{{\hat{\beta }}_i^2}{c_{ii}{S}_{\epsilon }^2}(n-p).$$ 当 ${\displaystyle H_{0i}}$ 成立, ${\displaystyle F\sim F_{1,n-p}}$. 因此拒绝域为 ${\displaystyle \{F\ge F_{1,n-p}(\alpha )\}}$.

如果接受 ${\displaystyle H_{0i}}$, 剔除 ${\displaystyle x_i}$, 记剔除第 ${\displaystyle i}$ 列的 ${\displaystyle X}$ 为 ${\displaystyle X_{\ast }}$, 模型变为 ${\displaystyle y=X_{\ast }{\beta }_{\ast }+\epsilon }$, 然后重新估计 ${\displaystyle \hat{y}=X_{\ast }{\hat{\beta }}_{\ast }}$. 记 ${\displaystyle {\hat{\beta }}_{\ast }=({\hat{\beta }}_{\ast 1},\cdots ,{\hat{\beta }}_{\ast i-1},{\hat{\beta }}_{\ast i+1},\cdots ,{\hat{\beta }}_{\ast p}{)}^{\mathrm{T}}}$ (去掉了 ${\displaystyle i}$), 则

5 回归因子挑选

上一小节介绍了用显著性检验来判断是否要加入因子. 在此基础上我们有挑选因子的逐步回归算法.
对线性回归模型 ${\displaystyle y=X\beta +\epsilon }$, 如果人为丢掉一部分回归因子 (不妨设后面 ${\displaystyle p-r}$ 个), 预测效果会怎么变?