把这个概率记为 ${\displaystyle \mathbb{P}(\text{金}|\text{红})}$, 则由 Bayes 公式 $$\mathbb{P}(\text{金}|\text{红})=\frac{\frac{5}{12}\cdot \frac{70}{100}}{\frac{5}{12}\cdot \frac{70}{100}+\frac{4}{12}\cdot \frac{10}{100}+\frac{3}{12}\cdot \frac{5}{100}}=\frac{70}{81}.$$
可以计算出各种可能的情况:

我们可以改变观点, 用一种有统计气味的做法: "由抽出球的颜色, 推断盒子的材料". 根据盒子中球分布的集中程度, 我们可以得到一个推断程序 $$\begin{array}{}\text{(1.1)}& \text{红}\to \text{金},\text{黄}\to \text{银},\text{蓝}\to \text{铜},\text{白}\to \text{银}.\end{array}$$
我们知道统计推断问题是有了样本 ${\displaystyle X}$, ${\displaystyle \{F_{\theta }(x)|\theta \in \mathrm{\Theta }\}}$, 用 ${\displaystyle X}$ 推断 ${\displaystyle \theta }$. 上面的问题就是这种模式. 引入 ${\displaystyle X,\theta }$: $$\begin{array}{rl}& \theta (\text{金})=1,\theta (\text{银})=2,\theta (\text{铜})=3,\\ & \mathrm{\Theta }=\{1,2,3\},\\ & X(\text{红})=1,X(\text{黄})=2,X(\text{蓝})=3,X(\text{白})=4,\\ & \mathcal{X}=\{1,2,3,4\},\end{array}$$ 而样本的分布族为 $$\begin{array}{rl}{F}_1(1)& =\frac{70}{100},F_1(2)=\frac{20}{100},F_1(3)=\frac{8}{100},F_1(4)=\frac{2}{100};\\ F_2(1)& =\frac{10}{100},F_2(2)=\frac{75}{100},F_2(3)=\frac{3}{100},F_2(4)=\frac{12}{100};\\ F_3(1)& =\frac{5}{100},F_3(2)=\frac{12}{100},F_3(3)=\frac{80}{100},F_3(4)=\frac{3}{100}.\end{array}$$
我们现在要根据 ${\displaystyle X}$ 推断 ${\displaystyle \theta }$. 我们可以把 (1.1) 看作一个估计量: $$\hat{\theta }(1)=1,\hat{\theta }(2)=\hat{\theta }(4)=2,\hat{\theta }(3)=3.$$

则 $$h(p|x)=c_x(\genfrac{}{}{0ex}{}{n}{x})p^x(1-p{)}^{n-x}=c_x^{\ast }{p}^x(1-p{)}^{n-x}.$$ 这属于 Beta 分布族.

有了样本 ${\displaystyle x=(x_1,\cdots ,x_n)}$ 后, $$h(a|x)=\frac{{\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp (-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-a{)}^2)\frac{1}{\sqrt{2\pi }\tau }\exp (-\frac{(a-\mu {)}^2}{2{\tau }^2})}{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n\exp (-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-a{)}^2)\frac{1}{\sqrt{2\pi }\tau }\exp (-\frac{(a-\mu {)}^2}{2{\tau }^2})\mathrm{d}a}.$$ 分子整理后为 ${\displaystyle c_{x,\sigma }\exp (-\frac{(a-t{)}^2}{2{\eta }^2})}$, 其中 $$t=\frac{\frac{n}{{\sigma }^2}\bar{X}+\frac{1}{{\tau }^2}\mu }{\frac{n}{{\sigma }^2}+\frac{1}{{\tau }^2}},{\eta }^2=\frac{1}{\frac{n}{{\sigma }^2}+\frac{1}{{\tau }^2}}=\frac{{\sigma }^2{\tau }^2}{n{\tau }^2+{\sigma }^2}<{\tau }^2.$$ 因此 ${\displaystyle a|x\sim \mathcal{N}(t,{\eta }^2)}$.

此时可以用广义先验密度函数 ${\displaystyle h(\theta )\equiv 1}$ 去刻画. 此时代入 (2.1), $$h(\theta |x)=\sqrt{\frac{n}{2\pi }}\exp (-\frac{n(\bar{x}-\theta {)}^2}{2}),$$ 这是 ${\displaystyle \mathcal{N}(\bar{x},\frac{1}{n})}$.

由于这是分布 ${\displaystyle \mathrm{Beta}(x+1,n+1-x)}$, 根据 Beta分布的期望, ${\displaystyle \bar{p}=\frac{x+1}{n+2}}$. MLE 则给出 ${\displaystyle \hat{p}=\frac{x}{n}}$. 可以把 ${\displaystyle \bar{p}}$ 看作一个 ${\displaystyle \hat{p}}$ 的修正. ${\displaystyle \bar{p}}$ 不会绝对地给出 ${\displaystyle 0/1}$ 的估计, 而是 ${\displaystyle \frac{1}{n+2}}$, ${\displaystyle \frac{n+1}{n+2}}$. 看起来合理一些.

根据正态分布的性质, 不同方法估计 ${\displaystyle a}$ 的结果相同, 都是 ${\displaystyle t}$.

根据 这个例子的结果, ${\displaystyle \theta |X=115\sim \mathcal{N}(110.38,69.23)}$. 从而 $$p_H(115)=\frac{1}{\sqrt{2\pi }\sqrt{69.23}}{\int }_{90}^{110}\exp {(-\frac{(\theta -110.38{)}^2}{138.46})}^2\mathrm{d}\theta =0.473.$$ 因为 ${\displaystyle p_H(115)<\frac{1}{2}}$, 所以拒绝 ${\displaystyle H_0}$.

如果先验分布的概率全部集中在 ${\displaystyle \theta =0}$, 则 ${\displaystyle X}$ 的边缘分布密度为 ${\displaystyle \frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{x^2}{2}}}$.
如果先验分布的概率全部按 ${\displaystyle \mathcal{N}(\mu ,{\tau }^2)}$ 分配, 则 ${\displaystyle X}$ 的边缘分布密度为 $${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{(x-\theta {)}^2}{2}}\frac{1}{\sqrt{2\pi }\tau }{\mathrm{e}}^{-\frac{(\theta -\mu {)}^2}{2{\tau }^2}}\mathrm{d}\theta =\frac{1}{\sqrt{2\pi (1+{\tau }^2)}}\exp (-\frac{(x-\mu {)}^2}{2(1+{\tau }^2)}),$$ 这是 ${\displaystyle \mathcal{N}(\mu ,1+{\tau }^2)}$. 记右边为 ${\displaystyle g(x)}$, 而 $$m(x)=p_0\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{x^2}{2}}+(1-p_0)g(x),$$ 则$$\begin{array}{rl}& p_{H_0}(x)=\mathbb{P}(\theta =0|x)=\frac{p_0\frac{1}{\sqrt{2\pi }}{\mathrm{e}}^{-\frac{x^2}{2}}}{m(x)},\\ & p_{H_1}(x)=\mathbb{P}(\theta \ne 0|x)=\frac{(1-p_0)g(x)}{m(x)}.\end{array}$$ 容易算出 $$p_{H_0}(x)>p_{H_1}(x)⟺|x+\frac{\mu }{{\tau }^2}|<A,$$ 其中 $$A^2=\frac{2(2+{\tau }^2)}{{\tau }^2}(\frac{{\mu }^2}{2{\tau }^2}+\frac{1}{2}\ln (1+{\tau }^2)+\ln \frac{p_0}{1-p_0}).$$

注意, ${\displaystyle \mu \ne 0}$ 时, 接受域已不和原点对称.

${\displaystyle X_1,\cdots ,X_n\sim \mathcal{N}(\theta ,{\sigma }^2)}$, ${\displaystyle {\sigma }^2>0}$ 已知, ${\displaystyle \theta }$ 为参数. ${\displaystyle \theta \sim \mathcal{N}(\mu ,{\tau }^2)}$.
则根据前面的例子 ${\displaystyle \theta |X_1,\cdots ,X_n\sim \mathcal{N}(t,{\eta }^2)}$, 则区间是 ${\displaystyle [t-\eta u_{\frac{\alpha }{2}},t+\eta u_{\frac{\alpha }{2}}]}$.

${\displaystyle X\sim \mathrm{Binomial}(n,p)}$, ${\displaystyle p\sim \mathrm{Uniform}(0,1)}$.
则在 这个例子中 我们我们得到 ${\displaystyle p}$ 的后验密度, 它先增后减. 可以知道区间估计 ${\displaystyle [p_1(x),p_2(x)]}$ 满足 $$\begin{array}{rl}& p_1^x(1-p_1{)}^{n-x}=p_2^x(1-p_2{)}^{n-x},\\ & {\int }_{p_1}^{p_2}{p}^x(1-p{)}^{n-x}\mathrm{d}p=(1-\alpha )\mathrm{Beta}(x+1,n+1-x).\end{array}$$

${\displaystyle X_1,\cdots ,X_n\sim \mathrm{Cauchy}}$, 即 ${\displaystyle f(x,\theta )=\frac{1}{\pi [1+(x-\theta {)}^2]}}$. ${\displaystyle \theta \sim \mathcal{N}(0,1)}$.
${\displaystyle \theta }$ 的后验分布为 $$h(\theta |x)=c_x{\mathrm{e}}^{-\frac{{\theta }^2}{2}}\prod _{i=1}^n[1+(x_i-\theta {)}^2{]}^{-1},$$ 其中 $$c_x={({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\mathrm{e}}^{-\frac{{\theta }^2}{2}}\prod _{i=1}^n[1+(x_i-\theta {)}^2{]}^{-1}\mathrm{d}\theta )}^{-1}.$$ 这里 ${\displaystyle h(\theta |x)}$ 不是关于 ${\displaystyle \theta }$ 的单峰函数, 因此需要数值解法.

首先写出样本的概率密度 ${\displaystyle (2\pi {)}^{-\frac{n}{2}}{\sigma }^{-n}\exp (-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-a{)}^2)}$. 记 ${\displaystyle T=\sum _{i=1}^n(x_i-a{)}^2}$ 为充分统计量. 然后确定 ${\displaystyle d>0}$ 使 $$0<{\int }_0^{\mathrm{\infty }}{\sigma }^{-d}\exp (-\frac{T}{2{\sigma }^2})\mathrm{d}\sigma <\mathrm{\infty }.$$ 做代换 ${\displaystyle x=\frac{T}{2{\sigma }^2}}$, 可以求出上述积分值为 ${\displaystyle \frac{\mathrm{\Gamma }\left(\frac{d-1}{2}\right)}{2{\left(\frac{T}{2}\right)}^{\frac{d-1}{2}}}}$. 显然一切 ${\displaystyle d>1}$ 都满足这个要求. 把这个分布记为 ${\displaystyle D(d,T)}$, 则密度为 $$\mathbf{1}\{\sigma >0\}\frac{2b^{\frac{d-1}{2}}}{\mathrm{\Gamma }\left(\frac{d-1}{2}\right){\sigma }^d}\exp (-\frac{b}{{\sigma }^2}).$$ 则 ${\displaystyle \{D(d,b)|d>1,b>0\}}$ 为 ${\displaystyle \sigma }$ 的一个共轭先验分布族.
${\displaystyle \sigma }$ 若有先验分布 ${\displaystyle D(d,b)}$, 则 ${\displaystyle \sigma }$ 有后验分布 ${\displaystyle D(d+n,b+\frac{T}{2})}$.

写出样本的概率密度 $$(2\pi {)}^{-\frac{n}{2}}{\sigma }^{-n}\exp (-\frac{T}{2{\sigma }^2})\exp (-\frac{n(\bar{x}-a{)}^2}{2{\sigma }^2}).$$
观察这个函数可以发现:

• ${\displaystyle \sigma }$ 的边缘分布为 ${\displaystyle D(n,\frac{T}{2})}$.
• 给定 ${\displaystyle \sigma }$ 下, ${\displaystyle a|\sigma \sim \mathcal{N}(a,\frac{{\sigma }^2}{n})}$.

以 ${\displaystyle G(d,b,\mu ,\tau )}$ 记 ${\displaystyle (a,\sigma )}$ 的这样的分布, 其中 ${\displaystyle \sigma }$ 的边缘分布为 ${\displaystyle D(d,b)}$, ${\displaystyle a|\sigma \sim \mathcal{N}(\mu ,\frac{{\sigma }^2}{\tau })}$. 记 ${\displaystyle \mathcal{F}=\{G(d,b,\mu ,\tau )|d>1,b>0,\tau >0\}}$, 则 ${\displaystyle \mathcal{F}}$ 为 ${\displaystyle (a,\sigma )}$ 的一个共轭先验分布族. 事实上 ${\displaystyle (a,\sigma ,X_1,\cdots ,X_n)}$ 的联合密度为 $$\begin{array}{}\text{(*)}& C{\sigma }^{-d}\exp (-\frac{b}{{\sigma }^2}){\sigma }^{-1}\exp (-\frac{\tau (a-\mu {)}^2}{2{\sigma }^2}){\sigma }^{-n}\exp (-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-a{)}^2),\end{array}$$ 其中 ${\displaystyle C}$ 与 ${\displaystyle a,\sigma }$ 都无关. 因为 $$\tau (a-\mu {)}^2+\sum _{i=1}^n(x_i-a{)}^2=(n+\tau )(a-t{)}^2+\frac{n\tau (\bar{x}-\mu {)}^2}{n+\tau }+T,$$ 其中 ${\displaystyle t=\frac{n\bar{x}+\tau \mu }{n+\tau }}$, 则 (*) 可以改写成 $$C_1{\sigma }^{-(d+n-1)}\exp [-\frac{b+\frac{T}{2}+\frac{n\tau (\bar{x}-\mu {)}^2}{n+\tau }}{{\sigma }^2}]\frac{\sqrt{n+\tau }}{\sqrt{2\pi }\sigma }\exp (-\frac{(a-t{)}^2(n+\tau )}{2{\sigma }^2}),$$ 其中 ${\displaystyle C_1}$ 与 ${\displaystyle a,\sigma }$ 都无关. 可以看出它就是 ${\displaystyle G(d+n-1,b+\frac{T}{2},t,\frac{{\sigma }^2}{n+\tau })}$, 属于 ${\displaystyle \mathcal{F}}$.

设 ${\displaystyle X_1,\cdots ,X_n}$ 来自这个总体分布, 概率函数为 $$\prod _{i=1}^n\frac{{\mathrm{e}}^{-\theta }{\theta }^{x_i}}{x_i!}=\frac{{\mathrm{e}}^{-n\theta }{\theta }^S}{x_1!\cdots x_n!},$$ 其中 ${\displaystyle S=\sum _{i=1}^n{x}_i}$. 回顾 Gamma 分布 ${\displaystyle \frac{a^b}{\mathrm{\Gamma }(b)}{x}^{b-1}{\mathrm{e}}^{-ax}\mathbf{1}\{x>0\}}$. 则它是 ${\displaystyle \theta }$ 的一个共轭先验分布族. 后验为 ${\displaystyle \mathrm{Gamma}(a+n,b+S)}$.