尽管传统观点认为统计学只能推断相关性/关联性, 我们却认为统计学对于 因果性 的推断同样至关重要. 因果推断主要介绍使用的正式的 "语言" 以及在随机化/观察性研究中的统计方法.

1 一些常用的衡量关联性的方式

1.1 相关性 回归

我们定义 ${\displaystyle Z,Y}$ 的 Pearson 相关系数(correlation coefficient) 为 $${\rho }_{ZY}=\frac{\mathrm{Cov}(Z,Y)}{\sqrt{\mathrm{Var}(Z)\mathrm{Var}(Y)}},$$ 它用于表示 ${\displaystyle Z,Y}$ 的线性相关性. 事实上如果用 ${\displaystyle Z}$ 对 ${\displaystyle Y}$ 进行线性回归 $$Y=\alpha +\beta Z+\epsilon ,$$ 我们可以得到 (参考 1 Simple Regression) $$\beta =\frac{\mathrm{Cov}(Z,Y)}{\mathrm{Var}(Z)}={\rho }_{ZY}\sqrt{\frac{\mathrm{Var}(Y)}{\mathrm{Var}(Z)}}.$$

1.2 列联表

对于两个 0-1 变量 ${\displaystyle Z,Y}$, 记 ${\displaystyle p_{zy}=\mathbb{P}(Z=z,Y=y)}$, 则可以用 列联表(contingency table) 来表示它们的关系:

定义

• 风险差 (risk difference) $$\mathrm{RD}=\mathbb{P}(Y=1|Z=1)-\mathbb{P}(Y=1|Z=0)=\frac{p_{11}}{p_{11}+p_{10}}-\frac{p_{01}}{p_{01}+p_{00}}.$$
• 风险比 (risk ratio) $$\mathrm{RR}=\frac{\mathbb{P}(Y=1|Z=1)}{\mathbb{P}(Y=1|Z=0)}=\frac{p_{11}}{p_{11}+p_{10}}/\frac{p_{01}}{p_{01}+p_{00}}.$$
• 优势比 (odds ratio) $$\mathrm{OR}=\frac{\mathbb{P}(Y=1|Z=1)/\mathbb{P}(Y=0|Z=1)}{\mathbb{P}(Y=1|Z=0)/\mathbb{P}(Y=0|Z=0)}=\frac{p_{11}{p}_{00}}{p_{10}{p}_{01}}.$$

对于我们的观测结果 ${\displaystyle n_{zy}=\mathrm{\#}\{i:Z_i=z,Y_i=y\}}$, 同样可以绘制列联表, 这里省略.

2 Yule-Simpson 悖论

为了解释这个实验, 记 ${\displaystyle X=1}$ 代表小结石, ${\displaystyle X=0}$ 代表大结石. 首先 $${\widehat{\mathrm{RD}}}_{X,Z}=\hat{\mathbb{P}}(Z=1|X=1)-\hat{\mathbb{P}}(Z=1|X=0)=-53\mathrm{\%}<0,$$ 这说明 大结石的病人更倾向于接受实验组(大规模手术). 然后固定组别, 看看 ${\displaystyle X}$ 和结果 ${\displaystyle Y}$ 的联系: $$\begin{array}{r}\hat{\mathbb{P}}(Y=1|Z=1,X=1)-\hat{\mathbb{P}}(Y=1|Z=1,X=0)=20\mathrm{\%},\\ \hat{\mathbb{P}}(Y=1|Z=0,X=1)-\hat{\mathbb{P}}(Y=1|Z=0,X=0)=18\mathrm{\%}.\end{array}$$
这说明 小结石病人有更高的成功率.

我们定义 ${\displaystyle X}$ 是 ${\displaystyle Z,Y}$ 的 混淆变量.