4.1 Neyman的置信区间理论

用样本生成的 g^(X) 来估计未知参数 g(θ), 是我们在 点估计 就讨论了的问题, 但是单个值我们没办法知道它的精度有多大. 一个方法是指出一个误差限 d(X), 把估计写成区间 [g^(X)−d(X),g^(X)+d(X)], 更一般地, [A(X),B(X)].
为了书写简单, 我们假定 g(θ) 就是 θ. 它们没有本质区别.

1 置信水平 置信系数

设 X 是样本, [θ1(X),θ2(X)] 是 θ 的区间估计. 由于 θ 未知和 X 随机, 我们不能保证 θ∈[θ1(X),θ2(X)], 只能以一定的概率保证它. 由此引出

置信水平 置信区间 置信系数

如果对任意 θ∈Θ, Pθ(θ1(X)≤θ≤θ2(X))≥1−α, 则称 [θ1(X),θ2(X)] 有置信水平 1−α, 或 [θ1(X),θ2(X)] 是 θ 置信水平 1−α 的置信区间.
一切置信水平中的最大值为置信系数, 也即 inf{Pθ(θ1(X)≤θ≤θ2(X))|θ∈Θ}.

置信上界 置信下界

设 θ―(X) 是 θ 的一个上界估计, 0≤α<1. 若 ∀θ∈Θ, Pθ(θ≤θ―(X))≥1−α, 则 θ―(X) 是 θ 的置信水平 1−α 的置信上界.
类似有 θ―(X), Pθ(θ―(X)≤θ)≥1−α, 则是置信下界.

对 k 维参数的情况 (k≥1), 可以定义区域估计, 即由样本 X 决定的区域 S(X)⊂Rk. 也即一旦有了样本 X, 可以把 θ 估计在 S(X) 内; S(X) 一般有规则的形状, 同样可以定义置信水平、置信系数.

2 置信区间的构造

2.1 通过点估计构造置信区间

对于有些分布确切结果难以计算, 我们可以用极限分布来近似.

, −∞<x<∞, −∞<θ<∞. 对 θ 进行区间估计.

记样本中位数为 mn, 则 mn−θ 与 θ=0 时 Cauchy 分布中 n 个样本的中位数的分布相同, 因此这个分布的密度函数 fn(x) 与 θ 无关.
当 n 为奇数, 根据 这个公式 可以直接写出来; n 为偶数的时候要稍微讨论一下.
找到 fn(x) 后, 找 c>0, 使 ∫−ccfn(x)dx=1−α⇒Pθ(|mn−θ|≤c)=1−α, 由此得出 [mn−c,mn+c].
根据 这个结果, n(mn−θ)→dN(0,π24). 因此 c≈πuα22n.

2.2 通过假设检验构造置信区间

考虑检验问题 H0:θ=θ0↔H1:θ≠θ0. 找出一个检验, 水平为 α. 设它有接受域 Aθ0, 则 Pθ0(X∈Aθ0)≥1−α.(θ0∈Θ)
如果 {X∈Aθ0} 可以等价写成 {θ1(X)≤θ0≤θ2(X)}, 则 Pθ(θ1(X)≤θ≤θ2(X))≥1−α,θ∈Θ. (这里 θ0 改写成 θ. ) 如果检验真实水平为 α, 则上式改为等号, 则 [θ1(X),θ2(X)] 有置信系数 1−α.

对于单边问题, 参考下面的例子.

反过来, 如果我们得到了 [θ1(X),θ2(X)], 则对给定的 θ0, 不难给出一个水平 α 的检验, 例如以 {x|θ0∈[θ1(x),θ2(x)]} 为拒绝域. 所以区间估计和假设检验有着很密切的联系.

区间估计会让我们估计的精度和可靠性一目了然. 例如虽然我们否定了 a=0, 但如果给出 [0.01,0.03] 的置信区间, 那可见 a 总体还是很小的, 虽然统计意义上拒绝了 a=0, 但它依然是个小的数, 这就和 [−50,−40] 产生了区别.

3 区间估计的优良性准则

一个好的区间需要满足

这两个目标显然是相互排斥的, 我们之前的 Neyman 理论给定置信水平的情况下去找精度更高的区间估计.
不过长度并不能很好描述精度, 比如说对置信上下界就不适用.
设 θ―(X) 为 θ 的 1−α 水平的置信下界, 则 θ―(X) 越大, 就越精确. 换言之, 对 ∀θ′<θ, Pθ(θ―(X)≤θ′) 尽可能小; 类似地对 θ―(X), 对 ∀θ′>θ, Pθ(θ―(X)≥θ′) 要尽可能小.
这导出了下面的定义.

一致最精确

称 θ―∗(X),θ―∗(X), [θ1∗(X),θ2∗(X)] 是 θ 的 1−α 水平的一致最精确置信上下界/置信区间 (UMA, Uniformly Most Accurate), 如果

  1. ∀1−α 水平的置信上界 θ―(X), 以及 ∀θ<θ′, 有 Pθ(θ―∗(X)≥θ′)≤Pθ(θ―(X)≥θ′).
  2. ∀1−α 水平的置信上界 θ―(X), 以及 ∀θ>θ′, 有 Pθ(θ―∗(X)≤θ′)≤Pθ(θ―(X)≤θ′).
  3. ∀1−α 水平的置信区间 [θ1(X),θ2(X)], 以及 ∀θ≠θ′, 有 Pθ(θ1∗(X)≤θ′≤θ2∗(X))≤Pθ(θ1(X)≤θ′≤θ2(X)).
定理 3.1

对于 前面提到的检验, 它是 UMP检验; 得到的置信区间/上下界是 UMA 置信区间/上下界.

UMA 的存在依赖于 UMP. 结合 定理, 对指数型分布族而言, 单边假设的 UMP 检验存在, 这样可以找到 UMA 置信界.

对于双边问题 θ=θ0↔θ≠θ0, UMP 几乎总不存在, 所以 UMA 也几乎总不存在, 即使是指数型分布族也是. 因此上述定理的"置信区间"的部分基本就是虚设的. 为了放宽, 引入无偏置信区间/界的概念.

无偏置信区间/上下界

[θ1(X),θ2(X)], θ―(X),θ―(X) 分别为 θ 的无偏置信区间/上下界, 如果

  1. ∀θ′ 和 θ″≠θ‴, 总有 Pθ′(θ1(X)≤θ′≤θ2(X))≥Pθ″(θ1(X)≤θ‴≤θ2(X)).
  2. ∀θ′ 和 θ″<θ‴, 总有 Pθ′(θ―(X)≥θ′)≥Pθ″(θ―(X)≥θ‴).
  3. ∀θ′ 和 θ″>θ‴, 总有 Pθ′(θ―(X)≤θ′)≥Pθ″(θ―(X)≤θ‴).

这里的思想和 UMPU 一致. 在此基础上自然导出一致最精确的无偏置信区间/上下界 (UMAU).

定理 3.2

基于 定理3.1 一样的检验, 若所用检验为无偏的, 则置信区间/上下界也无偏; 若所用检验是 UMPU, 则所得置信区间/上下界也是 UMAU.

4 序贯区间估计

这里的动机和 序贯概率比检验 一致.
设 X1,⋯,Xn∼N(a,σ2), a,σ 未知, 要做均值 a 的区间估计. 给定置信系数 1−α. 回顾 t区间估计, 区间长度为 2nStn−1(α2). 如果固定 n, 则 S=1n−1∑i=1n(Xi−X―)2 可以取任意大的值, 区间长都可能无界, 无论 n 取多大.

C. Stein 提出了一种两阶段抽样法, 构造出了这样性质的区间: 当 σ 已知, ∃l, ∀n, 区间长度 ≤l. 他的想法是: 当 σ 已知, 只要 n≥(2σuα2l)2. 当 σ 未知, 在第一阶段抽样来估计 σ2, 来预估 n, 再在第二阶段抽样补齐.

引理 1

设 m∈N, σ2>0 为常数, S2,Y 为随机变量, 满足条件

  1. mS2σ2∼χm2.
  2. 给定 S=s, Y∼N(0,σ2s2).

则 Y∼tm.

引理 2

X1,X2 ⋯∼N(a,σ2), 给定 n0∈N, 令 X―0=1n0∑i=1n0Xi,S2=1n0−1∑i=1n0(Xi−X―0)2. 设 a(t),b(t),n(t) 是 0<t<∞ 上的函数, a(t)≠0,∀t, 而 n(t)≥n0, 取整数为值. 则 Y=∑i=1nai(S)(Xi−a)S∑i=1nai2(S)∼tn0−1, 这里 ai(S)={a(S),i≤n0,b(S),i>n0.

现指定 c>0 和 n0. 第一阶段抽样 n0 次, 得到 X1,⋯,Xn0. 定义 n(t)=max(n0,[t2c]+1),a(t)=b(t)=1n(t). 若 n(S)=n0, 则抽样到此为止. 若 n(S)>n0, 则第二阶段抽 n(S)−n0 次, 即观察 Xn0+1,⋯,Xn(S). 令 Y=n(S)S(X―−a),X―=1n(S)∑i=1n(S)Xi, 则由引理 2, Y∼tn0−1. 于是置信区间 [X―−Stn0−1(α2)n(S),X―+Stn0−1(α2)n(S)] 有置信系数 1−α, 区间长为 2Stn0−1(α2)n(S). 根据 n(t) 的定义, n(S)≥[S2c]+1≥S2c, 故上述区间长不超过 2ctn0−1(α2). 为了让它不超过 l, 只需要 c=l24tn0−12(α2).