我们认为随机向量的各个分量是相互联系的, 而不是自变量、因变量那种单方面依赖性. 我们希望从一组数据中看出其中起作用的指标, 以此来进行降维.

1 主成分分析

考虑随机向量 ${\displaystyle X=(X_1,\cdots ,X_p{)}^{\mathrm{T}}}$, 对它做正交变换. 令 ${\displaystyle Y=U^{\mathrm{T}}X}$, ${\displaystyle U}$ 是正交阵, 希望 ${\displaystyle Y}$ 的协方差阵简单, 如对角阵, 此时容易衡量 ${\displaystyle Y}$ 各个分量的作用.
现在假设 ${\displaystyle X}$ 的总体二阶矩已知. 设 ${\displaystyle \mathrm{Cov}X=\mathrm{\Sigma }}$. 则 $$\begin{array}{}\text{(1.1)}& \mathrm{Cov}Y=U^{\mathrm{T}}\mathrm{Cov}XU=U^{\mathrm{T}}\mathrm{\Sigma }U=\mathrm{\Lambda },\end{array}$$ 这里 ${\displaystyle \mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,\cdots ,{\lambda }_p)}$, ${\displaystyle {\lambda }_1\ge \cdots \ge {\lambda }_p=0}$. 如果 ${\displaystyle \mathrm{rank}\mathrm{\Sigma }=r}$, 则 ${\displaystyle {\lambda }_r>{\lambda }_{r+1}=0}$, 这里 ${\displaystyle {\lambda }_i}$ 是 ${\displaystyle \mathrm{\Sigma }}$ 的特征值. 记 ${\displaystyle U=(u_1,\cdots ,u_r,u_{r+1},\cdots ,u_p)}$, 则 ${\displaystyle u_i}$ 是 ${\displaystyle \mathrm{\Sigma }}$ 对应 ${\displaystyle {\lambda }_i}$ 的特征向量: ${\displaystyle \mathrm{\Sigma }{u}_i={\lambda }_i{u}_i}$.

由于 ${\displaystyle Y_i=u_i^{\mathrm{T}}X}$, 所以主成分对应 ${\displaystyle \mathrm{\Sigma }}$ 的一个特征向量. ${\displaystyle Y_i}$ 的方差 ${\displaystyle \mathrm{Var}(Y_i)=u_i^{\mathrm{T}}\mathrm{\Sigma }{u}_i={\lambda }_i}$ 反映了 ${\displaystyle Y_i}$ 的变异. 由于 ${\displaystyle \tilde{Y}=(Y_1,\cdots ,Y_r{)}^{\mathrm{T}}}$ 的分量互不相关, ${\displaystyle \tilde{Y}}$ 的变异由 ${\displaystyle {\lambda }_1,\cdots ,{\lambda }_r}$ 反映, 贡献率的概念刻画了 ${\displaystyle Y_i}$ 的变异的地位; 如果累计贡献率已经接近 ${\displaystyle 100\mathrm{\%}}$, 则后面的那些主成分就可以直接舍去, 从而将问题从 ${\displaystyle p}$ 维降到 ${\displaystyle k}$ 维. 一般地, 设定门槛为 ${\displaystyle 85\mathrm{\%}}$.

我们有另一种理论解释 ${\displaystyle X}$ 的信息为什么在 ${\displaystyle X}$ 的 ${\displaystyle r}$ 个主成分里. 考虑 ${\displaystyle X_j}$ 的线性预测 ${\displaystyle b_1^{\mathrm{T}}X,\cdots ,b_k^{\mathrm{T}}X}$ 满足非退化条件^[1], 要求预测的均方误差最小: $$t_j(B^{\mathrm{T}}X)=\underset{\beta \in {\mathbb{R}}^k}{min}\mathbb{E}(X_j-{\beta }^{\mathrm{T}}BX{)}^2,j=1,\cdots ,p.$$ 我们有

记 ${\displaystyle \tilde{X}=U_1\tilde{Y}}$, 这里 ${\displaystyle \tilde{Y}=(Y_1,\cdots ,Y_k{)}^{\mathrm{T}}}$, 我们有$$\begin{array}{rl}& {\tilde{X}}_i=\sum _{j=1}^k{u}_{ij}{Y}_j,\mathrm{Var}({\tilde{X}}_i)=\sum _{j=1}^k{u}_{ij}^2{\lambda }_j\\ \Rightarrow & X_i=\sum _{j=1}^p{u}_{ij}{Y}_j,\mathrm{Var}(X_i)=\sum _{j=1}^p{u}_{ij}^2{\lambda }_j.\end{array}$$ 从而 ${\displaystyle {\tilde{X}}_i}$ 的方差是 ${\displaystyle X_i}$ 方差的一部分, 所占比例为 ${\displaystyle \frac{\sum _{j=1}^k{u}_{ij}^2{\lambda }_j}{\sum _{j=1}^p{u}_{ij}^2{\lambda }_j}}$. 这里看出 ${\displaystyle u_{ij}^2}$ 同样影响显著, 称 ${\displaystyle u_{ij}}$ 为 ${\displaystyle X_i}$ 在 ${\displaystyle Y_j}$ 上的载荷.

应用中, 考虑标准化主成分, 也即让 ${\displaystyle Y_i}$ 除以标准差 ${\displaystyle \sqrt{{\lambda }_i}}$, 使 ${\displaystyle \mathrm{Var}\left(\frac{Y_i}{\sqrt{{\lambda }_i}}\right)=1}$. 记 ${\displaystyle f_{i\cdot }=\frac{Y_i}{\sqrt{{\lambda }_i}}}$, 则 ${\displaystyle \mathrm{Cov}f=I_k}$. 由 $$\tilde{X}=U_1\left(\begin{array}{ccc}\sqrt{{\lambda }_1}& & 0\\ & \ddots & \\ 0& & \sqrt{{\lambda }_k}\end{array}\right)f=U_1{\mathrm{\Lambda }}^{\frac{1}{2}}f,$$ 可得 ${\displaystyle X_i}$ 在标准化主成分 ${\displaystyle f_j}$ 上到载荷为 ${\displaystyle u_{ij}\sqrt{{\lambda }_j}}$. 记 ${\displaystyle a_{ij}=u_{ij}\sqrt{{\lambda }_j}}$, 有 ${\displaystyle \mathrm{Var}({\tilde{X}}_i)=\sum _{j=1}^k{a}_{ij}^2}$, ${\displaystyle \mathrm{Var}(X_i)=\sum _{j=1}^p{a}_{ij}^2}$. 因此对标准化主成分, 载荷的意义更明显. 事实上, ${\displaystyle \mathrm{\Sigma }=R}$ 是相关矩阵时, ${\displaystyle a_{ij}=\rho (X_i,Y_j)}$.
还可以考虑旋转 ${\displaystyle f}$, 即以 ${\displaystyle k}$ 阶正交阵 ${\displaystyle \mathrm{\Gamma }}$ 去作用. 令 ${\displaystyle g={\mathrm{\Gamma }}^{\mathrm{T}}f}$, 则有 ${\displaystyle \tilde{X}=U_1{\mathrm{\Lambda }}^{\frac{1}{2}}\mathrm{\Gamma }g}$, 则 ${\displaystyle \mathrm{Var}({\tilde{X}}_i)=\sum _{j=1}^k{a}_{ij}^2}$. 但这时 ${\displaystyle X_i}$ 在 ${\displaystyle g_j}$ 上的载荷变为 $$b_{ij}=\sum _{t=1}^k{a}_{it}{\gamma }_{tj},$$ 其中 ${\displaystyle {\gamma }_{ij}}$ 是 ${\displaystyle \mathrm{\Gamma }}$ 的 ${\displaystyle (t,j)}$ 元. 适当选取 ${\displaystyle \mathrm{\Gamma }}$ 有利于对问题做出更好的统计解释.

在实际问题中, 改为样本协方差阵 ${\displaystyle \hat{\mathrm{\Sigma }}}$ 或样本相关矩阵 ${\displaystyle \hat{R}}$. 不过此时特征值会变为随机变量, 让推导更加困难.

1.1 几何解释

考虑 ${\displaystyle n}$ 个观察点 ${\displaystyle x_1,\cdots ,x_n}$. 取重心 ${\displaystyle \frac{1}{n}\sum _{i=1}^n{x}_i}$ 为原点, 也即假定 ${\displaystyle X=(x_1^{\mathrm{T}},\cdots ,x_n^{\mathrm{T}}{)}^{\mathrm{T}}}$, ${\displaystyle x_{ij}-\frac{1}{n}\sum _{k=1}^n{x}_{ik}}$ 代替 ${\displaystyle x_{ij}}$, 这样样本协方差阵为 ${\displaystyle \frac{1}{n-1}{X}^{\mathrm{T}}X\equiv \frac{1}{n-1}C}$. 现在找一条直线过原点, 方向为 ${\displaystyle u}$, ${\displaystyle u^{\mathrm{T}}u=1}$, 使 ${\displaystyle x_1,\cdots ,x_n}$ 到直线的距离平方和最小. 容易看出 ${\displaystyle x_i}$ 到直线的距离平方为 ${\displaystyle x_i^{\mathrm{T}}{x}_i-x_i^{\mathrm{T}}u{u}^{\mathrm{T}}{x}_i}$, 因此问题变为极小化 $$S_n(X,u)\equiv \sum _{i=1}^n(x_i^{\mathrm{T}}{x}_i-x_i^{\mathrm{T}}u{u}^{\mathrm{T}}{x}_i)=\mathrm{tr}(X^{\mathrm{T}}X-u^{\mathrm{T}}{X}^{\mathrm{T}}Xu),$$ 上式的极小值点是 ${\displaystyle X^{\mathrm{T}}X}$ 对应最大特征值的特征向量 ${\displaystyle u_1}$. 因此 ${\displaystyle u_1^{\mathrm{T}}X}$ 适合作为第一主成分.

在 ${\displaystyle p=2}$ 时, 容易与线性回归的几何意义作区别.

2 因子分析

假设一个班级的 6 个学生的成绩可以分解成 $$x=\left(\begin{array}{c}{x}_1\\ ⋮\\ x_6\end{array}\right)=\left(\begin{array}{c}{a}_1\\ ⋮\\ a_6\end{array}\right)f+\left(\begin{array}{c}{\epsilon }_1\\ ⋮\\ {\epsilon }_6\end{array}\right).$$ 这里 ${\displaystyle f}$ 是 ${\displaystyle x}$ 的公共因子, ${\displaystyle {\epsilon }_i}$ 是特殊因子. 一般地, $$\begin{array}{}\text{(2.1)}& x_{p\times 1}=A_{p\times q}{f}_{q\times 1}+\epsilon ,\end{array}$$ 这样假定是合理的:

• ${\displaystyle q\le p}$,
• ${\displaystyle \mathrm{Cov}(f,\epsilon )=\mathbf{0}}$,
• ${\displaystyle \mathrm{Cov}f=I_q}$, ${\displaystyle \mathrm{Cov}\epsilon =\mathrm{diag}({\sigma }_1^2,\cdots ,{\sigma }_p^2)=\mathrm{\Delta }}$.

现在计算 ${\displaystyle \mathrm{Cov}x=A{A}^{\mathrm{T}}+\mathrm{\Delta }}$, 可见 $$\mathrm{Var}(x_i)=\sum _{j=1}^q{a}_{ij}^2+{\sigma }_i^2,$$ 从而 ${\displaystyle x_i}$ 的方差由两部分组成: 一部分是 ${\displaystyle A}$ 的第 ${\displaystyle i}$ 行向量 ${\displaystyle a_{(i)}}$ 的范数 ${\displaystyle ||a_{(i)}|{|}^2}$, 另一部分是第 ${\displaystyle i}$ 个特殊因子的方差 ${\displaystyle {\sigma }_i^2}$. 记 ${\displaystyle h_i^2=||a_{(i)}|{|}^2}$, 表明公共因子对 ${\displaystyle x_i}$ 的影响大小, 称为贡献.
考虑 ${\displaystyle f_j}$ 对 ${\displaystyle x}$ 的影响, 记 ${\displaystyle g_j^2=\sum _{i=1}^p{a}_{ij}^2}$, 称 ${\displaystyle g_j^2}$ 是 ${\displaystyle f_j}$ 对 ${\displaystyle x}$ 的贡献. 与 PCA 类似, ${\displaystyle a_{ij}}$ 是 ${\displaystyle x_i}$ 在 ${\displaystyle f_j}$ 上的载荷.
使 ${\displaystyle g_j^2}$ 最大的 ${\displaystyle f_j}$ 是最重要的公共因子, 使 ${\displaystyle h_i^2}$ 最大的 ${\displaystyle x_i}$ 是最依赖公共因子的指标. 而载荷 ${\displaystyle a_{ij}}$ 在 ${\displaystyle \mathrm{Var}(x_i)=\mathrm{Var}(f_i)=1}$ 时恰好为 ${\displaystyle \rho (x_i,f_j)}$. 实际工作中, 希望载荷更加集中. 习惯上称 ${\displaystyle A}$ 为载荷矩阵. 方便起见, 假设 ${\displaystyle g_1^2\ge \cdots \ge g_q^2}$.

2.1 载荷矩阵的求法

假设 ${\displaystyle x}$ 已经标准化, 每个分量方差为 ${\displaystyle 1}$, ${\displaystyle \mathrm{Cov}x=R}$ 是相关矩阵. 假设 ${\displaystyle R,\mathrm{\Delta }}$ 已知, 称 ${\displaystyle R_{\ast }=R-\mathrm{\Delta }=A{A}^{\mathrm{T}}}$ 为约相关阵. 此时要求 ${\displaystyle R_{\ast }\ge \mathbf{0}}$. 利用 谱分解: $$R_{\ast }=\sum _{j=1}^r{\lambda }_j{u}_j{u}_j^{\mathrm{T}},r=\mathrm{rank}{R}_{\ast },$$ 其中 ${\displaystyle u_j}$ 是 ${\displaystyle R_{\ast }}$ 对应 ${\displaystyle {\lambda }_j}$ 的规范化特征向量, ${\displaystyle {\lambda }_1\ge \cdots \ge {\lambda }_r>0}$. 于是取 $$a_j=\sqrt{{\lambda }_j}{u}_j\Rightarrow A=(a_1,\cdots ,a_q).$$ 这样的 ${\displaystyle A}$ 还满足 ${\displaystyle A^{\mathrm{T}}A=\mathrm{diag}({\lambda }_1,\cdots ,{\lambda }_q)}$: ${\displaystyle g_j^2={\lambda }_j}$.

在上述情形下, 因子分析和主成分分析看似没啥区别, 但是主成分分析是找 ${\displaystyle R}$ 的前 ${\displaystyle k}$ 个特征向量, 而在因子分析中则从 ${\displaystyle R_{\ast }}$ 出发.

接下来用 ${\displaystyle R_{\ast }=A{A}^{\mathrm{T}}}$ 来求 ${\displaystyle A}$. 根据 这里, 如果 ${\displaystyle B{B}^{\mathrm{T}}=A{A}^{\mathrm{T}}}$, 则 ${\displaystyle B=A\mathrm{\Gamma }}$. 这里 ${\displaystyle \mathrm{\Gamma }}$ 是 ${\displaystyle q}$ 维正交阵, 因此 ${\displaystyle \mathrm{Im}(A)}$ 唯一, 称为因子空间, 且任一解都可以由上面已经求得的 ${\displaystyle A}$ 经过旋转得到, 此时贡献 ${\displaystyle h_i^2}$ 不改变, 但因子本身 ${\displaystyle g_j^2}$ 会改变. 此时把模型 (2.1) 记为 $$\begin{array}{}\text{(2.2)}& x=(A\mathrm{\Gamma })({\mathrm{\Gamma }}^{\mathrm{T}}f)+\epsilon =By+\epsilon ,\end{array}$$ 这里 ${\displaystyle y={\mathrm{\Gamma }}^{\mathrm{T}}f}$. 类似主成分分析, 我们希望各个因子的贡献"分散", 也即较多载荷接近零, 这样可以实现降维. 注意到 ${\displaystyle \sum _{j=1}^q{g}_j^2=\mathrm{tr}(A{A}^{\mathrm{T}})}$ 不受旋转影响, 因此贡献的分散程度可以由各个列的样本方差体现. 例如 ${\displaystyle q=2}$, ${\displaystyle B=A\mathrm{\Gamma }=\left(\begin{array}{cc}{b}_{11}& b_{12}\\ ⋮& ⋮\\ b_{p1}& b_{p2}\end{array}\right)}$. 为了消除符号不同的影响, 考虑 ${\displaystyle \frac{b_{ij}^2}{h_i^2}}$ 代替 ${\displaystyle b_{ij}}$. 令$$\begin{array}{rl}{S}_j& =\frac{1}{p}\sum _{i=1}^p{(\frac{b_{ij}^2}{h_i^2}-\frac{1}{p}\sum _{i=1}^p\frac{b_{ij}^2}{h_i^2})}^2,j=1,2,\\ S& =S_1+S_2.\end{array}$$
寻求 ${\displaystyle \mathrm{\Gamma }}$, 使 ${\displaystyle S}$ 极大化, 这样旋转称为方差最大的正交旋转.

3 典型相关

现在讨论两个随机向量的互依性. 回忆我们引入了相关系数的概念来刻画两个随机变量的互依性; 引入了多重相关系数来刻画 ${\displaystyle Y,X}$ 的线性依赖性: ${\displaystyle {\rho }_{Y,X}=max\rho (Y,a^{\mathrm{T}}X)}$. 现在对于两个随机向量, 进行推广

从实际看, ${\displaystyle {\rho }_1}$ 反映了 ${\displaystyle X,Y}$ 综合指标的最大相关程度.

如果知道 ${\displaystyle X,Y}$ 的联合二阶矩, 容易推导典型相关系数/变量. 设 $$\mathrm{Cov}\left(\begin{array}{c}X\\ Y\end{array}\right)=\left(\begin{array}{cc}{\mathrm{\Sigma }}_{XX}& {\mathrm{\Sigma }}_{XY}\\ {\mathrm{\Sigma }}_{YX}& {\mathrm{\Sigma }}_{YY}\end{array}\right),{\mathrm{\Sigma }}_{XX},{\mathrm{\Sigma }}_{YY}>\mathbf{0},$$ 则 $$\rho (a^{\mathrm{T}}X,b^{\mathrm{T}}Y)=a^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}b=b^{\mathrm{T}}{\mathrm{\Sigma }}_{YX}a.$$ 下面用 Lagrange 乘子法求解: 令 $$\phi (a,b)=a^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}b-\frac{\lambda }{2}(a^{\mathrm{T}}{\mathrm{\Sigma }}_{XX}a-1)-\frac{\mu }{2}(b^{\mathrm{T}}{\mathrm{\Sigma }}_{YY}b-1),$$ 则$$\begin{array}{r}\{\begin{array}{rl}& \frac{\partial \phi }{\partial a}={(\frac{\partial \phi }{\partial a_1},\cdots ,\frac{\partial \phi }{\partial a_p})}^{\mathrm{T}}={\mathrm{\Sigma }}_{XY}b-\lambda {\mathrm{\Sigma }}_{XX}a,\\ & \frac{\partial \phi }{\partial b}={(\frac{\partial \phi }{\partial b_1},\cdots ,\frac{\partial \phi }{\partial b_q})}^{\mathrm{T}}={\mathrm{\Sigma }}_{YX}a-\mu {\mathrm{\Sigma }}_{YY}b.\end{array}\end{array}$$
令 ${\displaystyle \frac{\partial \phi }{\partial a}=\mathbf{0}}$, ${\displaystyle \frac{\partial \phi }{\partial b}=\mathbf{0}}$, 则 ${\displaystyle \lambda =\mu =a^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}b\equiv \rho }$, 且 $$\begin{array}{rl}{W}_{1}a& ={\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}a={\rho }^{2}a,\\ W_{2}a& ={\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}b={\rho }^{2}b.\end{array}$$
由 这里, ${\displaystyle W_1,W_2}$ 有相同非零特征值. 上式表明 ${\displaystyle {\rho }^2}$ 是它们的特征值, 格子有对应的特征向量 ${\displaystyle a,b}$. 设 ${\displaystyle W_1,W_2}$ 非零特征值个数为 ${\displaystyle r}$ (包括重数), 则 ${\displaystyle \phi (a,b)}$ 有 ${\displaystyle r}$ 个稳定点, ${\displaystyle r}$ 个局部极值 ${\displaystyle |{\rho }_1|\ge \cdots \ge |{\rho }_r|>0}$. 这里 ${\displaystyle |{\rho }_1|}$ 就是我们要求的典型相关系数, 对应的 ${\displaystyle a_1,b_1}$ 给出了典型相关变量 ${\displaystyle a_1^{\mathrm{T}}X,b_1^{\mathrm{T}}Y}$ (注意我们约定了 ${\displaystyle \mathrm{Var}(a_1^{\mathrm{T}}X)=\mathrm{Var}(b_1^{\mathrm{T}}Y)=1}$). 这里 ${\displaystyle a_1,b_1}$ 除了方向相反, 可以确定, 一般典型相关系数取正值.
实际应用中, 我们考虑多个综合指标. 第 ${\displaystyle i}$ 组就是 ${\displaystyle |{\rho }_i|}$, ${\displaystyle a_i^{\mathrm{T}}X,b_i^{\mathrm{T}}Y}$.

可以在 ${\displaystyle a_1,\cdots ,a_r}$ 后添加 ${\displaystyle a_{r+1},\cdots ,a_p}$, 使 ${\displaystyle \{{\mathrm{\Sigma }}^{\frac{1}{2}}{a}_1,\cdots ,{\mathrm{\Sigma }}^{\frac{1}{2}}{a}_p\}}$ 是 ${\displaystyle {\mathrm{\Sigma }}^{\frac{1}{2}}{W}_1{\mathrm{\Sigma }}^{-\frac{1}{2}}}$ 的正交规范化特征向量集, 类似有 ${\displaystyle b_{r+1},\cdots ,b_q}$. 记 ${\displaystyle A=(a_1,\cdots ,a_p)}$, ${\displaystyle B=(b_1,\cdots ,b_q)}$, 有 $$\begin{array}{rl}\mathrm{Cov}(A^{\mathrm{T}}X)& =A^{\mathrm{T}}{\mathrm{\Sigma }}_{XX}A=I_p,\\ \mathrm{Cov}(B^{\mathrm{T}}X)& =B^{\mathrm{T}}{\mathrm{\Sigma }}_{YY}B=I_q.\end{array}$$ 由于 ${\displaystyle a_i^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}{b}_j={\rho }_j{a}_i^{\mathrm{T}}{\mathrm{\Sigma }}_{XX}{a}_i=0}$, 又有 ${\displaystyle \mathrm{Cov}(A^{\mathrm{T}}X,B^{\mathrm{T}}Y)=\mathrm{\Delta }}$. 除了主对角元 ${\displaystyle {\rho }_1,\cdots ,{\rho }_r}$ 外, 其余皆为 ${\displaystyle 0}$, 从而 $$\begin{array}{}\text{(3.1)}& \mathrm{Cov}\left(\begin{array}{c}{A}^{\mathrm{T}}X\\ B^{\mathrm{T}}Y\end{array}\right)=\left(\begin{array}{cc}{I}_p& \mathrm{\Delta }\\ {\mathrm{\Delta }}^{\mathrm{T}}& I_q\end{array}\right).\end{array}$$ 因此寻求典型变量实际上就是线性变换原变量, 得到简单的协方差结构.
实际应用中, 可以抛弃较小的 ${\displaystyle {\rho }_i}$, 设较大的为前 ${\displaystyle k}$ 组. 记 ${\displaystyle A_1,B_1}$ 是对应的前 ${\displaystyle k}$ 列, 则可以用 ${\displaystyle A_1^{\mathrm{T}}X,B_1^{\mathrm{T}}Y}$ 来近似反映.

另一个统计解释是, 用 ${\displaystyle Y}$ 的线性函数预测 ${\displaystyle a_i^{\mathrm{T}}X}$.. 使得均方误差最小的线性预测是 $$\widehat{a_i^{\mathrm{T}}X}=a_i^{\mathrm{T}}\mathbb{E}X-{\rho }_i{b}_i^{\mathrm{T}}\mathbb{E}Y+{\rho }_i{b}_i^{\mathrm{T}}Y.$$ 事实上, 设 ${\displaystyle C_0+C^{\mathrm{T}}Y}$ 是想求的预测. 由 (1.2), $$\begin{array}{}\text{(3.2)}& \widehat{a_i^{\mathrm{T}}X}=a_i^{\mathrm{T}}\mathbb{E}X-a_i^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}\mathbb{E}Y+a_i^{\mathrm{T}}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}Y.\end{array}$$ 由于 ${\displaystyle {\mathrm{\Sigma }}_{YX}{a}_i={\rho }_i{\mathrm{\Sigma }}_{YY}{b}_i}$, 从而得到 (3.2).

典型变量的一个应用是给出 ${\displaystyle X,Y}$ 的公共因子, 即 ${\displaystyle \mathrm{\exists }Z}$: $$\{\begin{array}{rl}& X=C_{1}Z+{\epsilon }_1,\\ & Y=C_{2}Z+{\epsilon }_2,\end{array}$$ 且有 $$\mathrm{Cov}(Z,{\epsilon }_1)=\mathbf{0},\mathrm{Cov}(Z,{\epsilon }_2)=\mathbf{0},\mathrm{Cov}({\epsilon }_1,{\epsilon }_2)=\mathbf{0}.$$
事实上可取 ${\displaystyle Z=A_1^{\mathrm{T}}X}$, ${\displaystyle A_1}$ 是 ${\displaystyle A}$ 的前 ${\displaystyle r}$ 列, ${\displaystyle B_1}$ 是 ${\displaystyle B}$ 的前 ${\displaystyle r}$ 列. 注意到 ${\displaystyle A^{\mathrm{T}}{\mathrm{\Sigma }}_{XX}A=I_p}$, ${\displaystyle B^{\mathrm{T}}{\mathrm{\Sigma }}_{YY}B=I_q}$, 有 $${\mathrm{\Sigma }}_{XX}A{A}^{\mathrm{T}}=I_p,{\mathrm{\Sigma }}_{YY}B{B}^{\mathrm{T}}=I_q.$$
因此如果记 ${\displaystyle \mathrm{\Lambda }=\mathrm{Cov}(A_1^{\mathrm{T}}X,B_1^{\mathrm{T}}Y)}$, 有 $$\begin{array}{rl}X& ={\mathrm{\Sigma }}_{XX}A{A}^{\mathrm{T}}X={\mathrm{\Sigma }}_{XX}{A}_1{A}_1^{\mathrm{T}}X+{\mathrm{\Sigma }}_{XX}{A}_2{A}_2^{\mathrm{T}}X,\\ Y& ={\mathrm{\Sigma }}_{YY}{B}_1{B}_1^{\mathrm{T}}Y+{\mathrm{\Sigma }}_{YY}{B}_2{B}_2^{\mathrm{T}}Y\\ & ={\mathrm{\Sigma }}_{YY}{B}_1{B}_1^{\mathrm{T}}\mathrm{\Lambda }{A}_1^{\mathrm{T}}X+{\mathrm{\Sigma }}_{YY}{B}_1{B}_1^{\mathrm{T}}(Y-\mathrm{\Lambda }{A}_1^{\mathrm{T}}X)+{\mathrm{\Sigma }}_{YY}{B}_2{B}_2^{\mathrm{T}}Y.\end{array}$$
记 ${\displaystyle Z=A_1^{\mathrm{T}}X}$, ${\displaystyle C_1={\mathrm{\Sigma }}_{XX}{A}_1}$, ${\displaystyle C_2={\mathrm{\Sigma }}_{YY}{B}_1{B}_1^{\mathrm{T}}\mathrm{\Lambda }}$, ${\displaystyle {\epsilon }_1={\mathrm{\Sigma }}_{XX}{A}_2{A}_2^{\mathrm{T}}X}$, ${\displaystyle {\epsilon }_2={\mathrm{\Sigma }}_{YY}{B}_1{B}_1^{\mathrm{T}}(Y-\mathrm{\Lambda }{A}_1^{\mathrm{T}}X)+{\mathrm{\Sigma }}_{YY}{B}_2{B}_2^{\mathrm{T}}Y}$, 就有 ${\displaystyle X,Y}$. 并且容易验算

故 ${\displaystyle Z}$ 是 ${\displaystyle X,Y}$ 的公共因子.

之前的旋转因子法在典型相关中不适用, 因为任何旋转都会破坏 (3.1).