2.1 完全随机实验 Fisher 随机化检验

#HypothesisTesting #Randomization #CLT #CRE #FRT #EmpiricalDistribution #KolmogorovTest

1 CRE

考虑一个实验, 有 $n$ 个单元, 其中 $n_{1}$ 个为实验组, $n_{0}$ 个为对照组.

CRE

记 $z = (z_{1}, \dots, z_{n})$ , 满足 $\sum_{i = 1}^{n} z_{i} = n_{1}$ , $\sum_{i = 1}^{n} (1 - z_{i}) = n_{0}$ . 则 完全随机实验(Completely randomized experiment, CRE) 指符合下面的对照组分配机制: $P (Z = z) = 1 / (\binom{n}{n_{1}}) .$
在这里我们认为 $Y (1) = (Y_{1} (1), \dots, Y_{n} (1))$ 和 $Y (0) = (Y_{1} (0), \dots, Y_{n} (0))$ 都固定, 则因为 $Z ⊥ ⊥ Y (1), Y (0)$ , 有 $P (Z = z | Y (1), Y (0)) = 1 / (\binom{n}{n_{1}}) .$

2 FRT

Fisher 对下面的零假设感兴趣: $H_{0 F} : Y_{i} (0) = Y_{i} (1), \forall i = 1, \dots, n .$ 称为 Fisher 随机化检验 (Fisher randomization test, FRT). 假设 $H_{0 F}$ 成立, 则任意检验统计量 $T = T (Z, Y)$ (由于 $Y$ 固定事实上就是 $Z$ 的函数), 根据 CRE 假设 $Z$ 在 ${z^{1}, \dots, z^{M}}$ 上均匀分布, 这里 $M = (\binom{n}{n_{1}})$ , 因此 $T$ 在 ${T (z^{1}, Y), \dots, T (z^{M}, Y)}$ 上均匀分布.
如果认为大值对于 $T$ 来说更极端, 我们可以这样衡量极端性: $p_{FRT} = \frac{1}{M} \sum_{m = 1}^{M} 1 {T (z^{m}, Y) \geq T (Z, Y)} .$ 这就是 FRT 的 $p$ 值.

Pasted image 20251005215321.png

可以注意到, $H_{0 F}$ 下 $P (p_{FRT} \leq u) \leq u, \forall 0 \leq u \leq 1.$

简证

记 $F (\cdot)$ 是 $T (Z, Y)$ 的分布函数. 尽管它是个阶梯函数, 我们认为它连续、严格单增, 所以 $p_{FRT} = 1 - F (T)$ , 因此 $\begin{aligned} P (p_{FRT} \leq u) & = P (1 - F (T) \leq u) = P (T \geq F^{- 1} (1 - u)) \\ = 1 - F (F^{- 1} (1 - u)) = u . \end{aligned}$ 实际出现不等号, 是因为离散化造成的误差.

在实际上, $M$ 会很大, 我们会用 Monte Carlo 方法近似 $p_{FRT}$ . 也即随机取 $R$ 个 $Z$ : $z^{1}, \dots, z^{r}$ , 则 ${\hat{p}}_{FRT} = \frac{1}{R} \sum_{r = 1}^{R} 1 {T (z^{r}, Y) \geq T (Z, Y)}$ .

3 检验统计量的取法

尽管 FRT 允许任意检验统计量, 我们希望检验统计量也能提供足够否定 $H_{0 F}$ 的信息.

3.1 基于样本均值的取法

均值之差

定义 $\hat{τ} = \hat{\overset{―}{Y}} (1) - \hat{\overset{―}{Y}} (0),$ 这里 $\hat{\overset{―}{Y}} (1) = \frac{1}{n_{1}} \sum_{i = 1}^{n} Z_{i} Y_{i}$ 是实验组 ( $Z_{i} = 1$ ) 结果的样本均值, $\hat{\overset{―}{Y}} (0) = \frac{1}{n_{0}} \sum_{i = 1}^{n} (1 - Z_{i}) Y_{i}$ 则是对照组的.
在 $H_{0 F}$ 下, 它有期望 $E [\hat{τ}] = \frac{1}{n_{1}} \sum_{i = 1}^{n} E (Z_{i}) Y_{i} - \frac{1}{n_{0}} \sum_{i = 1}^{n} E (1 - Z_{i}) Y_{i} = 0$ 以及方差 $\begin{aligned} Var (\hat{τ}) & = Var {\frac{1}{n_{1}} \sum_{i = 1}^{n} Z_{i} Y_{i} - \frac{1}{n_{0}} \sum_{i = 1}^{n} (1 - Z_{i}) Y_{i}} \\ = Var (\frac{n}{n_{0}} \frac{1}{n_{1}} \sum_{i = 1}^{n} Z_{i} Y_{i}) = \frac{n}{n_{1} n_{0}} s^{2}, \end{aligned}$ 这里 $\overset{―}{Y} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \overset{―}{Y})^{2} .$

首先 $E [Z_{i}] = P (Z_{i} = 1) = (\binom{n - 1}{n_{1} - 1}) / (\binom{n}{n_{1}}) = \frac{n_{1}}{n}$
和 $E [Z_{i} Z_{j}] = P (Z_{i} = Z_{j} = 1) = (\binom{n - 2}{n_{1} - 2}) / (\binom{n}{n_{1}}) = \frac{n_{1} (n_{1} - 1)}{n (n - 1)} .$ 这样 $\begin{aligned} Var (\sum_{i = 1}^{n} Z_{i} Y_{i}) & = E {(\sum_{i = 1}^{n} Z_{i} Y_{i})}^{2} - {(E \sum_{i = 1}^{n} Z_{i} Y_{i})}^{2} \\ = E (\sum_{i = 1}^{n} Z_{i} Y_{i}^{2} + 2 \sum_{1 \leq i < j \leq n} Z_{i} Z_{j} Y_{i} Y_{j}) - {(\frac{n_{1}}{n} \sum_{i = 1}^{n} Y_{i})}^{2} \\ = \frac{n_{1}}{n} \sum_{i = 1}^{n} Y_{i}^{2} + 2 \frac{n_{1} (n_{1} - 1)}{n (n - 1)} \sum_{1 \leq i < j \leq n} Y_{i} Y_{j} - n_{1}^{2} {\overset{―}{Y}}^{2} . \end{aligned}$ 然后注意到 $2 \sum_{1 \leq i < j \leq n} Y_{i} Y_{j} = {(\sum_{i = 1}^{n} Y_{i})}^{2} - \sum_{i = 1}^{n} Y_{i}^{2} = n^{2} {\overset{―}{Y}}^{2} - \sum_{i = 1}^{n} Y_{i}^{2}$ , 因此 $\begin{aligned} Var (\sum_{i = 1}^{n} Z_{i} Y_{i}) & = \frac{n_{1}}{n} \sum_{i = 1}^{n} Y_{i}^{2} + \frac{n_{1} (n_{1} - 1)}{n (n - 1)} [n^{2} {\overset{―}{Y}}^{2} - \sum_{i = 1}^{n} Y_{i}^{2}] - n_{1}^{2} {\overset{―}{Y}}^{2} \\ = \frac{n_{1} n_{0}}{n (n - 1)} (\sum_{i = 1}^{n} Y_{i}^{2} - n {\overset{―}{Y}}^{2}) = \frac{n_{1} n_{0} s^{2}}{n} . \end{aligned}$

另一方面因为 $\frac{\hat{τ}}{\sqrt{\frac{n}{n_{1} n_{0}} s^{2}}} \overset{d}{\to} N (0, 1)$ , 且 $s^{2}$ 固定, 因此可以直接用 $\frac{\hat{τ}}{\sqrt{\frac{n}{n_{1} n_{0}} s^{2}}}$ 作为检验统计量.

由于我们观测到的数据分别来自子集 ${Y_{i} : Z_{i} = 1}, {Y_{i} : Z_{i} = 0}$ , 因此问题本质上是一个双样本问题. 我们直接使用双样本 $t$ 检验量 $\frac{\hat{τ}}{\sqrt{\frac{n}{n_{1} n_{0} (n - 2)}} [\sum_{Z_{i} = 1} [Y_{i} - \hat{\overset{―}{Y}} (1)]^{2} + \sum_{Z_{i} = 0} [Y_{i} - \hat{\overset{―}{Y}} (0)]^{2}]} \sim t_{n - 2} .$
另外我们可以通过代数运算得到 $\begin{matrix} (3.1) & (n - 1) s^{2} = \sum_{Z_{i} = 1} {Y_{i} - \hat{\overset{―}{Y}} (1)}^{2} + \sum_{Z_{i} = 0} {Y_{i} - \hat{\overset{―}{Y}} (0)}^{2} + \frac{n_{1} n_{0}}{n} {\hat{τ}}^{2} . \end{matrix}$
当样本量 $n$ 很大, 我们忽略 $N (0, 1)$ 与 $t_{n - 2}$ , 还有 $n - 1$ 与 $n - 2$ 的差别. 在 $H_{0 F}$ 下, $\hat{τ} \overset{p}{\to} 0$ , 因此我们的例子中的 $p$ 值和双样本 t 检验的 $p$ 值近似一致.

t 检验量 (Studentized statistic)

另一个检验量是 $t = \frac{\hat{\overset{―}{Y}} (1) - \hat{\overset{―}{Y}} (0)}{\sqrt{\frac{{\hat{S}}^{2} (1)}{n_{1}} + \frac{{\hat{S}}^{2} (0)}{n_{0}}}},$ 这里 ${\hat{S}}^{2} (1) = \frac{1}{n_{1} - 1} \sum_{Z_{i} = 1} [Y_{i} - \hat{\overset{―}{Y}} (1)]^{2}, {\hat{S}}^{2} (0) = \frac{1}{n_{0} - 1} \sum_{Z_{i} = 0} [Y_{i} - \hat{\overset{―}{Y}} (0)]^{2}$ 是两组各自的样本方差. 在 $H_{0 F}$ 下, 依据有限总体中心极限定理^[2], $t \overset{d}{\to} N (0, 1)$ . 这样我们可以得到一个近似 t 检验的 $p$ 值.

3.2 基于排序的取法

上述的 $\hat{τ}, t$ 都会被离群值轻易影响, 从而降低稳定性.

Wilcoxon 秩和检验 (Wilcoxon rank sum)

定义 $R_{i}$ 是 $Y_{i}$ 在样本集合 $Y$ 中的排序: $R_{i} = # {j : Y_{j} \leq Y_{i}} .$ 则 Wilcoxon 秩和检验量 是实验组的排序之和: $W = \sum_{i = 1}^{n} Z_{i} R_{i} .$ (我们假设排名没有平局情况). 因为总的排名和为 $1 + \dots + n = \frac{n (n + 1)}{2}$ , 所以 Wilcoxon 秩和检验等价于两组均值之差. 在 $H_{0 F}$ 下, 固定 $R_{i}$ , 有 $E (W) = \sum_{i = 1}^{n} E (Z_{i}) R_{i} = \frac{n_{1}}{n} \sum_{i = 1}^{n} i = \frac{n_{1} (n + 1)}{2},$ 以及 $\begin{aligned} Var (W) & = Var (\sum_{i = 1}^{n} Z_{i} R_{i}) = Var (n_{1} \frac{1}{n_{1}} \sum_{i = 1}^{n} Z_{i} R_{i}) \\ = n_{1}^{2} (1 - \frac{n_{1}}{n}) \frac{1}{n_{1}} \frac{1}{n - 1} \sum_{i = 1}^{n} {(R_{i} - \frac{n + 1}{2})}^{2} \\ = \frac{n_{1} n_{0}}{n (n - 1)} \sum_{i = 1}^{n} {(i - \frac{n + 1}{2})}^{2} \\ = \frac{n_{1} n_{0} (n + 1)}{12}, \end{aligned}$ (第二行参考^[1:1]). 从而在 $H_{0 F}$ 下有限总体中心极限定理得到 $\frac{\sum_{i = 1}^{n} Z_{i} R_{i} - \frac{n_{1} (n + 1)}{2}}{\sqrt{\frac{n_{1} n_{0} (n + 1)}{12}}} \to N (0, 1) .$ 据此构建检验量.

3.3 基于经验分布

Kolmogorov-Smirnov 检验

定义经验分布: ${\hat{F}}_{1} (y) = \frac{1}{n_{1}} \sum_{i = 1}^{n} Z_{i} 1 {Y_{i} \leq y}, {\hat{F}}_{0} (y) = \frac{1}{n_{0}} \sum_{i = 1}^{n} (1 - Z_{i}) 1 {Y_{i} \leq y} .$ 定义 Kolmogorov-Smirnov 检验量 $D = max_{y} | {\hat{F}}_{1} (y) - {\hat{F}}_{0} (y) | .$ 经过若干计算, $P (\frac{n_{1} n_{0}}{n} D \leq x) \to \frac{\sqrt{2 π}}{x} \sum_{j = 1}^{\infty} e^{- (2 j - 1)^{2} π^{2} / (8 x^{2})} .$

事实上我们有如下结论: 如果在简单随机采样中样本均值无偏: $E [\hat{\overset{―}{c}}] = \overset{―}{c}, E [\hat{\overset{―}{d}}] = \overset{―}{d}$ , 则 $Var (\hat{\overset{―}{c}}) = \frac{n_{0}}{n n_{1}} S_{c}^{2}, Var (\hat{\overset{―}{d}}) = \frac{n_{0}}{n n_{1}} S_{d}^{2}, Cov (\hat{\overset{―}{c}}, \hat{\overset{―}{d}}) = \frac{n_{0}}{n n_{1}} S_{c d} .$ ↩︎ ↩︎
假设总体并非无限而是只有 $N$ , 不放回抽样 $n$ 次, 则样本均值满足 $\frac{\overset{―}{X} - μ}{\sqrt{(1 - f) σ^{2} / n}} \overset{d}{\to} N (0, 1),$ 这里 $f = \frac{n}{N}$ . ↩︎