2.1 矩估计与极大似然估计

#MLE #Likelihood #CauchyDistribution #MoM #Moments #MultinomialDistribution #PointEstimation #LagrangeMethod

1 矩估计方法

原点矩中心矩

设有样本 $X_{1}, \dots, X_{n}$ ; $k \in N$ . 定义 $\begin{matrix} (1.1) & a_{n k} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k}, m_{n k} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - {\overset{―}{X}}_{n})^{k} \end{matrix}$ 分别为** $k$ 阶样本原点矩**, $k$ 阶样本中心矩. 这里 ${\overset{―}{X}}_{n} = a_{n 1} = \sum_{i = 1}^{n} X_{i} / n$ 是样本均值.

$k = 1$ 时, $m_{n 1} = 0$ . 一般地,

\begin{aligned} m_{n k} = & \frac{1}{n} \sum_{i = 1}^{n} \sum_{r = 0}^{k} C_{k}^{r} X_{i}^{r} (- {\overset{―}{X}}_{n})^{k - r} \\ = & \sum_{r = 0}^{k} C_{k}^{r} (- 1)^{k - r} ({\overset{―}{X}}_{n})^{k - r} \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{r} \\ (1.2) & = & \sum_{r = 0}^{k} C_{k}^{r} (- 1)^{k - r} a_{n 1}^{k - r} a_{n r} \end{aligned}

k

阶原点矩

k

阶中心矩

用 $α_{k}, μ_{k}$ 表示总体分布 $F$ 的** $k$ 阶原点矩**, $k$ 阶中心矩. 例如总体方差为

μ_{2} = E (X - E (X))^{2} = E (X^{2}) - (E (X))^{2} = α_{2} - α_{1}^{2} .

则

E (a_{n k}) = \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}^{k}) = \frac{1}{n} \sum_{i = 1}^{n} α_{k} = α_{k} .

因此 $a_{n k}$ 估计 $α_{k}$ 是无偏估计; 但 $m_{n k}$ 估计 $μ_{k}$ 是有偏的, 但是可以采用修正或者大 $n$ 下忽略偏差:

用

m_{n 2}

估计

μ_{2}

事实上，设有简单随机样本 $(X_{1}, \dots, X_{n})$ , 套用 (1.2) 有 $m_{n 2} = \sum_{r = 0}^{2} C_{2}^{r} (- 1)^{r} a_{n 1}^{2 - r} a_{n r} = a_{n 2} - a_{n 1}^{2},$
再根据 (1.1) 定义式, 有 $\begin{aligned} E (m_{n 2}) = & \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}^{2}) - E ({\overset{―}{X}}_{n}^{2}) = E (X_{1}^{2}) - E ({\overset{―}{X}}_{n}^{2}) \\ = & μ_{2} + α_{1}^{2} - [Var ({\overset{―}{X}}_{n}) + (E {\overset{―}{X}}_{n})^{2}] \\ = & μ_{2} + α_{1}^{2} - (\frac{1}{n} μ_{2} + α_{1}^{2}) = \frac{n - 1}{n} μ_{2}, \end{aligned}$

推导

$\begin{aligned} Var ({\overset{―}{X}}_{n}) = & E [{(\frac{\sum_{i = 1}^{n} X_{i}}{n})}^{2}] - E^{2} (\frac{\sum_{i = 1}^{n} X_{i}}{n}) \\ = & \frac{1}{n^{2}} E (\sum_{i = 1}^{n} X_{i}^{2} + 2 \sum_{1 \leq i < j \leq n} X_{i} X_{j}) - E^{2} (X_{1}) \\ = & \frac{1}{n^{2}} [n E (X_{1}^{2}) + 2 C_{n}^{2} E^{2} (X_{1})] - E^{2} (X_{1}) \\ = & \frac{E (X_{1}^{2})}{n} - \frac{E^{2} (X_{1})}{n} = \frac{μ_{2}}{n} . \end{aligned}$

因此 $m_{n 2}$ 不是 $μ_{2}$ 的无偏估计. 为了修正它，用 $\frac{n}{n - 1} m_{n 2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - {\overset{―}{X}}_{n})^{2} = S^{2}$ 进行修正 (也即样本方差), 也就是说, 样本方差采用因子 $(n - 1)^{- 1}$ 是为了保证 $S^{2}$ 是 $μ_{2}$ 的无偏估计, 也即 $E (S^{2}) = μ_{2}$ .

矩估计

设总体分布依赖于参数 $θ$ , 待估函数 $g (θ)$ 可以表示为 $\begin{matrix} (1.3) & g (θ) = G (α_{1}, \dots, α_{k}, μ_{2}, \dots, μ_{l}) . \end{matrix}$
如果有简单随机样本 ${X_{i}}$ , 则用 $a_{n i}$ 估计 $α_{i}$ , 用 $m_{n i}$ 估计 $μ_{i}$ , 则可以用 $\hat{g} (X) = G (a_{n 1}, \dots, a_{n k}, m_{n 2}, \dots, m_{n l})$ 作为 $g (θ)$ 的矩估计(Method of Moments, #MoM ). 矩估计并不唯一.

X_{1}, \dots, X_{n} \sim R (θ_{1}, θ_{2})

(即均匀分布), 求

θ_{1}, θ_{2}

的矩估计.

易知 $α_{1} = \frac{1}{2} (θ_{1} + θ_{2})$ , 方差为 $μ_{2} = E (X^{2}) - α_{1}^{2} = \int_{θ_{1}}^{θ_{2}} \frac{t^{2}}{θ_{2} - θ_{1}} d t - \frac{1}{4} (θ_{1} + θ_{2})^{2} = \frac{1}{12} (θ_{1} - θ_{2})^{2} .$ 现用 $\overset{―}{X}, S^{2}$ 记样本均值、样本方差, 用 ${\hat{θ}}_{1}, {\hat{θ}}_{2}$ 记 $θ_{1}, θ_{2}$ 的矩估计, 则 ${\begin{aligned} \overset{―}{X} = \frac{{\hat{θ}}_{1} + {\hat{θ}}_{2}}{2} \\ S^{2} = \frac{({\hat{θ}}_{2} - {\hat{θ}}_{1})^{2}}{12} \end{aligned} \Rightarrow {\begin{aligned} {\hat{θ}}_{1} = \overset{―}{X} - \sqrt{3} S, \\ {\hat{θ}}_{2} = \overset{―}{X} + \sqrt{3} S . \end{aligned}$

其它统计量

记 $β_{1} = \frac{μ_{3}}{μ_{2}^{3 / 2}}, β_{2} = \frac{μ_{4}}{μ_{2}^{2}}, V = \frac{\sqrt{μ_{2}}}{α_{1}}$ 分别为总体分布的偏度, 峰度, 变异系数. 当总体分布关于某点对称时, $β_{1} = 0$ , 因此可以用 $β_{1}$ 衡量分布的“非对称性”. 当总体分布为正态分布, $β_{1} = 0, β_{2} = 3$ , 可以用 $β_{1}, β_{3}$ 衡量与正态分布的偏离程度.

2 极大似然估计 (MLE)

似然函数 ( Likelihood Function )

样本 $X$ (不一定是简单随机样本) 有概率函数 $f (x, θ), θ \in Θ$ . 固定 $x$ , 把 $f (x, θ)$ 看作 $θ$ 的函数, 称为似然函数.

似然函数就是概率函数, 只是看待的角度不一样.

极大似然估计

若 $\hat{θ (X)}$ 是一个统计量, 满足条件 $\begin{matrix} (2.1) & f (x, \hat{θ} (x)) = sup_{θ \in Θ} f (x, θ) (x \in X), \end{matrix}$ 则 $\hat{θ} (X)$ 称为 $θ$ 的极大似然估计. （若待估函数是 $g (θ)$ , 则 $g (\hat{θ} (X))$ 为极大似然估计. ）

极大似然估计的意义是, 在已知 $x$ 的情况下, 找一个“看起来最像”的 $θ$ .

若 $X = (X_{1}, \dots, X_{n})$ 为简单随机样本, 总体分布有概率函数 $f_{θ} (x)$ , 则似然函数为 $f (x, θ) = \prod_{i = 1}^{n} f_{θ} (x_{i}),$ 进而 $\begin{aligned} θ & = \arg max_{θ \in Θ} f (x, θ) = \arg max \ln f (x, θ) \\ = \arg max \prod_{i = 1}^{n} f_{θ} (x_{i}) = \arg max \sum_{i = 1}^{n} \ln f_{θ} (x_{i}) . \end{aligned}$

X_{1}, \dots, X_{n} \sim N (a, σ^{2}), θ = (a, σ)

. 求

θ

的极大似然估计.

写出对数似然函数 $n \ln \frac{1}{\sqrt{2 π}} - n \ln σ - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - a)^{2} .$
分别对 $σ, a$ 求偏导, 得 $- \frac{n}{σ} + \sum_{i = 1}^{n} \frac{(x_{i} - a)^{2}}{σ^{3}} = 0, \frac{1}{σ^{2}} \sum_{i = 1}^{n} (x_{i} - a) = 0,$ 解得 $\hat{a} = \overset{―}{X}, {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} = m_{n 2} .$

Cauchy 分布

Cauchy 分布的概率函数为 $f_{θ} (x) = \frac{1}{π [1 + (x - θ)^{2}]}, - \infty < x < \infty, θ \in R .$

Cauchy 分布的似然方程为 $\frac{\partial}{\partial θ} f_{θ} (x) = \sum_{i = 1}^{n} \frac{x_{i} - θ}{1 + (x_{i} - θ)^{2}} = 0.$ 这无法得到解析解.

想要预估一种电子元件的平均寿命. 抽取

n

个元件, 设电子元件的寿命服从指数分布. 试验方法为, 指定时刻

T > 0

, 若元件

i

在

T

时刻没有失效, 则

X_{i} = T

; 否则

X_{i}

记为

i

的寿命. 现在由

X_{1}, \dots, X_{n}

来作

λ

的极大似然估计.

若 $x_{i} < T$ , 总体分布在 $x_{i}$ 点的密度为 $λ e^{- λ x_{i}}$ ; $x_{i} = T$ , 则元件 $i$ 的寿命不小于 $T$ , 概率为 $\int_{T}^{\infty} λ e^{- λ x} d x = e^{- λ T}$ . 因此单个样本的概率函数为 ${\begin{aligned} λ e^{- λ x_{i}}, x_{i} < T, \\ e^{- λ T}, x_{i} = T . \end{aligned}$
现在不妨设前 $r$ 个元件在 $T$ 前失效, 后 $n - r$ 个则否, 则似然函数为 $f (x, λ) = λ^{r} e^{- λ (x_{1} + \dots + x_{r})} e^{- λ (n - r) T} .$
令 $\frac{\partial f}{\partial λ} = 0$ , 解得 $\hat{λ} = \frac{r}{X_{1} + \dots + X_{r} + (n - r) T}$ .

k

个事件

A_{1}, \dots, A_{k}

两两互斥, 概率

p_{1}, \dots, p_{k}

之和为

1

. 试验独立地重复

n

次, 记

X_{i}

为

A_{i}

发生的次数 (

i = 1, \dots, n

), 求

p_{1}, \dots, p_{k}

的极大似然估计.

此处 $(X_{1}, \dots, X_{n})$ 服从 多项分布 $M (n; p_{1}, \dots, p_{k})$ （ #MultinomialDistribution ）, 概率函数为 $\begin{aligned} f (x, p_{1}, \dots, p_{k}) & = C_{n}^{x_{1}} C_{n - x_{1}}^{x_{2}} \dots C_{n - x_{1} - x_{k - 1}}^{x_{k}} p_{1}^{x_{1}} \dots p_{k}^{x_{k}} \\ = \frac{n!}{x_{1}! (n - x_{1})!} \frac{(n - x_{1})!}{x_{2}! (n - x_{1} - x_{2})!} \dots p_{1}^{x_{1}} \dots p_{k}^{x_{k}} \\ = \frac{n!}{x_{1}! \dots x_{k}!} p_{1}^{x_{1}} \dots p_{k}^{x_{k}} . \end{aligned}$
在 $p_{1} + \dots + p_{k} = 1$ 的条件下, 运用 Lagrange 乘子法. 记 $L (λ, p_{1}, \dots, p_{k}) = \sum_{i = 1}^{k} [x_{i} \ln p_{i} - λ (\frac{1}{k} - p_{i})],$
令 ${\begin{aligned} \frac{\partial}{\partial p_{i}} L = \frac{x_{i}}{p_{i}} + λ = 0, \\ \frac{\partial}{\partial λ} L = \sum_{i = 1}^{k} p_{i} - 1 = 0 \end{aligned} \Rightarrow {\hat{p}}_{i} = \frac{x_{i}}{n} .$