1 基本概念

回顾 前面的定义, 方差分析是因子全都是属性因子的情况.

对于因子试验模型, 首先我们要确定各个水平效应是否相同; 如果相同, 说明这个因子其实没啥用, 它是不显著的; 反之则是显著的.
Fisher 由此引入了方差分析. 设在 ${\displaystyle n}$ 个试验点上做实验, 得到观察值向量 ${\displaystyle y=(y_1,\cdots ,y_n{)}^{\mathrm{T}}}$, 满足线性模型 ${\displaystyle y=X\beta +\epsilon }$. 称 ${\displaystyle ||y|{|}^2=y^{\mathrm{T}}y=\sum _{i=1}^n{y}_i^2}$ 为总平方和. 如果 ${\displaystyle ||y|{|}^2}$ 可以分解为 ${\displaystyle ||y||=\sum _{j=1}^r{\xi }_j}$, 而这些 ${\displaystyle {\xi }_j}$ 又有明确的统计解释, 则把这个分解称为方差分析.
实际中常常分解 ${\displaystyle ||P_{1^{\perp }}y|{|}^2=\sum _{i=1}^n(y_i-\bar{y}{)}^2}$. 由于 $$||P_{1^{\perp }}y|{|}^2=||y|{|}^2-n{\bar{y}}^2,$$ 所以实际上就是分解 ${\displaystyle ||y|{|}^2}$. Cochran定理 提供了理论支持.
这实际上是种狭义方差分析. 下面假设模型都满足 ${\displaystyle \epsilon \sim {\mathcal{N}}_n(0,{\sigma }^2{I}_n)}$.

2 单向分类模型

按因子的 ${\displaystyle r}$ 个水平将观察值分成 ${\displaystyle r}$ 个组, 记为 $$y=(y_{11},\cdots ,y_{1n_1},\cdots ,y_{r1},\cdots ,y_{r{n}_r})=(y_{(1)}^{\mathrm{T}},\cdots ,y_{(r)}^{\mathrm{T}}{)}^{\mathrm{T}}.$$
其中 ${\displaystyle y_{(i)}}$ 是试验组取第 ${\displaystyle i}$ 个水平得到的观察值向量, ${\displaystyle n_i}$ 是重复试验的次数. 因此也称一种方式分组数据模型. 具体结构为 $$y_{i{k}_i}={\beta }_0+{\beta }_i+{\epsilon }_{i{k}_i},i=1,\cdots ,r,k_i=1,\cdots ,n_i,\sum _{i=1}^r{n}_i=n.$$
按照方差分析的思想, 定义 ${\displaystyle y}$ 的总的离差平方和$${\mathrm{SS}}_{\mathrm{T}}=\sum _{i=1}^r\sum _{k_i=1}^{n_i}(y_{i{k}_i}-\bar{y}{)}^2$$ 进行分解. ${\displaystyle \bar{y}}$ 表示 ${\displaystyle y}$ 分量的总平均; ${\displaystyle {\bar{y}}_{i\cdot }}$ 表示将观察值按照"·"的角标求和, 然后除以角标的取值个数: ${\displaystyle {\bar{y}}_{i\cdot }=\frac{1}{n_i}\sum _{k_i=1}^{n_i}{y}_{i{k}_i}}$. 则$$\begin{array}{rl}{\mathrm{SS}}_{\mathrm{T}}& =\sum _{i=1}^r\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot }+{\bar{y}}_{i\cdot }-\bar{y}{)}^2\\ & =\sum _{i=1}^r\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot }{)}^2+\sum _{i=1}^r\sum _{k_i=1}^{n_i}({\bar{y}}_{i\cdot }-\bar{y}{)}^2,\end{array}$$ 这里最后一个等号是因为 $$\sum _{i=1}^r\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot })({\bar{y}}_{i\cdot }-\bar{y})=\sum _{i=1}^r[({\bar{y}}_{i\cdot }-\bar{y})\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot })]=0.$$
记$$\begin{array}{rl}{\mathrm{SS}}_{\epsilon }& =\sum _{i=1}^r\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot }{)}^2,\\ {\mathrm{SS}}_r& =\sum _{i=1}^r\sum _{k_i=1}^{n_i}({\bar{y}}_{i\cdot }-\bar{y}{)}^2=\sum _{i=1}^r{n}_i({\bar{y}}_{i\cdot }-\bar{y}{)}^2,\end{array}$$ 则 ${\displaystyle {\mathrm{SS}}_{\mathrm{T}}={\mathrm{SS}}_{\epsilon }+{\mathrm{SS}}_r}$.

注意到 ${\displaystyle {\mathrm{SS}}_{\mathrm{T}}=||P_{1_n^{\perp }}y|{|}^2}$. 由 引理, ${\displaystyle \frac{{\mathrm{SS}}_{\mathrm{T}}}{{\sigma }^2}\sim {\chi }_{n-1,\delta }^2}$. 类似地 $$\sum _{k_i=1}^{n_i}(y_{i{k}_i}-{\bar{y}}_{i\cdot }{)}^2=||P_{1_{n_i}^{\perp }}y|{|}^2\Rightarrow {\sigma }^{-2}||P_{1_{n_i}^{\perp }}y|{|}^2\sim {\chi }_{n_i-1}^2.$$ 且由 ${\displaystyle ||P_{1_{n_i}^{\perp }}y|{|}^2}$ 的独立性, ${\displaystyle {\sigma }^{-2}{\mathrm{SS}}_{\epsilon }\sim {\chi }_{n-r}^2}$. 这样 ${\displaystyle {\sigma }^{-2}{\mathrm{SS}}_r\sim {\chi }_{r-1,\delta }^2}$, ${\displaystyle {\delta }^2=\frac{||P_{1_n}\mathbb{E}y|{|}^2}{{\sigma }^2}}$. 而 Cochran 定理还指出 ${\displaystyle {\mathrm{SS}}_{\epsilon }\perp \perp {\mathrm{SS}}_r}$, 从而 $$F\equiv \frac{{\mathrm{SS}}_r}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-r}{r-1}\sim F_{r-1,n-r,\delta }.$$
如果 ${\displaystyle {\beta }_1=\cdots ={\beta }_r}$, ${\displaystyle {\bar{y}}_{i\cdot },{\bar{y}}_{j\cdot }}$ 甚至 ${\displaystyle \bar{y}}$ 都理应没有显著差异; 否则, 若 ${\displaystyle {\beta }_i\ne {\beta }_j}$, 则 ${\displaystyle ({\bar{y}}_{i\cdot }-\bar{y}{)}^2,({\bar{y}}_{j\cdot }-\bar{y}{)}^2}$ 都会明显增加, ${\displaystyle {\mathrm{SS}}_r}$ 会偏大. 因此假设 ${\displaystyle H_0:{\beta }_1=\cdots ={\beta }_r}$ 的拒绝域为 ${\displaystyle \{F\ge F_{r-1,n-r}(\alpha )\}}$. ^[1]

这样我们可以总结为

3 两向分类模型

这就是 这个例子 中的情况. 即可按照第一个因子的不同水平分类, 也可按照第二个. 可以将数据设想成 ${\displaystyle \left(\begin{array}{ccc}{y}_{11}& y_{12}& y_{13}\\ y_{21}& y_{22}& y_{23}\end{array}\right)}$. 一般地, $$y_{ij}={\theta }_0+{\beta }_i+{\gamma }_j+{\epsilon }_{ij},i=1,\cdots ,r,j=1,\cdots ,c.$$ 称 ${\displaystyle y_{ij}}$ 在 ${\displaystyle (i,j)}$ 格中. 每格也可以重复试验. 如果重复试验次数每格相等, 则是均衡的.

3.1 每格只进行一次试验

此时检验 ${\displaystyle H_{01}:{\beta }_1=\cdots ={\beta }_r}$ 或者 ${\displaystyle H_{02}:{\gamma }_1=\cdots ={\gamma }_c}$.

• ${\displaystyle H_{01}}$ 成立时 ${\displaystyle {\delta }_r^2=0}$, ${\displaystyle \frac{{\mathrm{SS}}_r}{{\sigma }^2}\sim {\chi }_{r-1}^2}$, 从而 $$F_1=\frac{{\mathrm{SS}}_r}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{rc-r-c+1}{r-1}\sim F_{r-1,rc-r-c+1}.$$ 取拒绝域 ${\displaystyle \{F_1\ge F_{r-1,rc-r-c+1}(\alpha )\}}$.
• ${\displaystyle H_{02}}$ 成立时 ${\displaystyle {\delta }_c^2=0}$, ${\displaystyle \frac{{\mathrm{SS}}_c}{{\sigma }^2}\sim {\chi }_{c-1}^2}$, 从而 $$F_2=\frac{{\mathrm{SS}}_c}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{rc-r-c+1}{c-1}\sim F_{c-1,rc-r-c+1}.$$ 取拒绝域 ${\displaystyle \{F_2\ge F_{c-1,rc-r-c+1}(\alpha )\}}$.

3.2 每格有 ${\displaystyle {\displaystyle p}}$ 次试验

现在假设两因子试验有交互作用 $$y_{ijk}={\theta }_0+{\beta }_i+{\gamma }_j+(\beta \gamma {)}_{ij}+{\epsilon }_{ijk},$$ ${\displaystyle i=1,\cdots ,r}$, ${\displaystyle j=1,\cdots ,c}$, ${\displaystyle k=1,\cdots ,p}$. ${\displaystyle (\beta \gamma {)}_{ij}}$ 表示行因子的第 ${\displaystyle i}$ 个水平和列因子的第 ${\displaystyle j}$ 个水平点交互效应. 这里除了 ${\displaystyle H_{01},H_{02}}$ 外, 还需要检验 $$H_{03}:(\beta \gamma {)}_{ij}\text{对}\mathrm{\forall }(i,j)\text{均相同}.$$
如果 ${\displaystyle H_{03}}$ 被接受, 则交互作用不显著; 否则需要推断哪种水平搭配最佳.

类似前面, ${\displaystyle H_{01},H_{02}}$ 的统计量分别是 $$F_1=\frac{{\mathrm{SS}}_r}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{rc(p-1)}{r-1},F_2=\frac{{\mathrm{SS}}_c}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{rc(p-1)}{c-1},$$ 拒绝域分别是 ${\displaystyle \{F_1\ge F_{r-1,rc(p-1)}(\alpha )\}}$, ${\displaystyle \{F_2\ge F_{c-1,rc(p-1)}(\alpha )\}}$.
而对 ${\displaystyle H_{03}}$, 如果它成立(交互作用不显著), ${\displaystyle {\mathrm{SS}}_{\mathrm{g}}}$ 应该要小, 随之 ${\displaystyle {\mathrm{SS}}_{rc}}$ 要小. #？ 从而 ${\displaystyle H_{03}}$: $$F_3=\frac{{\mathrm{SS}}_{rc}}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{rc(p-1)}{(r-1)(c-1)}\sim F_{(r-1)(c-1),rc(p-1),{\delta }_3}.$$ 这里 $${\delta }_3^2=\frac{1}{{\sigma }^2}\sum _{i=1}^r\sum _{j=1}^{c}p(\mathbb{E}{\bar{y}}_{ij\cdot }-\mathbb{E}{\bar{y}}_{i\cdot \cdot }-\mathbb{E}{\bar{y}}_{\cdot j\cdot }+\mathbb{E}\bar{y}{)}^2.$$当 ${\displaystyle H_{03}}$ 成立, ${\displaystyle {\delta }_3^2=0}$, 所以拒绝域为 ${\displaystyle \{F_3\ge F_{(r-1)(c-1),rc(p-1)}(\alpha )\}}$.

3.3 非均衡情形

此时各格试验不全相等.
模型依然是 $$y_{ijk}={\theta }_0+{\beta }_i+{\gamma }_j+(\beta \gamma {)}_{ij}+{\epsilon }_{ijk},$$ 这里 ${\displaystyle i=1,\cdots ,r}$, ${\displaystyle j=1,\cdots ,c}$, 但是 ${\displaystyle k=k(i,j)=1,\cdots ,n_{ij}}$.
此时前面的方差分析法没法直接搬用. 需要用附加约束法 #？ 给出. 附加以下约束: $$\begin{array}{rl}& \sum _{i=1}^r{n}_{\cdot i}{\beta }_i=0,\sum _{j=1}^c{n}_{\cdot j}{\gamma }_j=0,\\ \text{(3.3)}& & \sum _{i=1}^r{n}_{i\cdot }(\beta \gamma {)}_{ij}=\sum _{j=1}^c{n}_{\cdot j}(\beta \gamma {)}_{ij}=0,\end{array}$$ 这里 ${\displaystyle n_{i\cdot }=\sum _{j=1}^c{n}_{ij}}$, ${\displaystyle n_{\cdot j}=\sum _{i=1}^r{n}_{ij}}$.
现在假设 ${\displaystyle H_{01},H_{02},H_{03}}$ 都已经由前面给出: $$\begin{array}{rl}& H_{01}:{\beta }_1=\cdots ={\beta }_r=0,\\ & H_{02}:{\gamma }_1=\cdots ={\gamma }_c=0,\\ & H_{03}:(\beta \gamma {)}_{11}=\cdots =(\beta \gamma {)}_{rc}=0.\end{array}$$

• 记 ${\displaystyle {\mathrm{SS}}_r=\sum _{i=1}^r{n}_{i\cdot }({\bar{y}}_{i\cdot \cdot }-\bar{y}{)}^2}$, 有 ${\displaystyle F_1=\frac{{\mathrm{SS}}_r}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-rc}{r-1}}$, ${\displaystyle n=\sum _{i=1}^r\sum _{j=1}^c{n}_{ij}}$.
• 类似地 ${\displaystyle {\mathrm{SS}}_c=\sum _{j=1}^c{n}_{\cdot j}({\bar{y}}_{\cdot j\cdot }-\bar{y}{)}^2}$, 有 ${\displaystyle F_2=\frac{{\mathrm{SS}}_c}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-rc}{c-1}}$.
• 记 $${\mathrm{SS}}_{rc}=\sum _{i=1}^r\sum _{j=1}^c{n}_{ij}({\bar{y}}_{ij\cdot }-{\bar{y}}_{i\cdot \cdot }-{\bar{y}}_{\cdot j\cdot }+\bar{y}{)}^2,$$有 ${\displaystyle F_3=\frac{{\mathrm{SS}}_{rc}}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-rc}{(r-1)(c-1)}}$.

本节的方法可以推广到多因子分析情形, 没有原则性困难, 但是复杂程度会显著增加.