8.6 贝叶斯估计

假如你收集了一些样本，然后根据这些样本计算出了参数的90%的置信区间，这似乎意味着参数有90%的可能性落在这个区间内。但如果从频率学派的角度来看，这种观点是错误的，因为他们认为虽然分布的参数未知，但它是一个固定的数字，并不是一个随机变量，参数要么在这个区间内，要么不在。这样频率学派关于概率的观点在这里就不适用了。

那么让我们改变一下游戏的规则。

我想到一个分布：这是一个指数分布，但我是从一个(0.5, 1.5)的均匀分布中随机抽了一个值作为参数λ。下面是抽样得到的一组样本，我们用X表示：

{2.675, 0.198, 1.152, 0.787, 2.717, 4.269}

基于这组样本，你觉得λ的值会是多少？

在这个版本的游戏中，λ是一个随机变量，所以我们完全可以讨论它服从什么样的分布，并且使用贝叶斯定理很容易就能计算出结果。

下面是计算步骤。

1. 将(0.5, 1.5)划分成一组长度相等的小区间。对每个小区间，我们定义假设Hi为：λ落在第i个区间。因为λ服从均匀分布，所以Hi的先验概率$P(H_i)$对所有的i都是相等的。
2. 对每一个假设Hi，我们计算似然函数$P(X|H_i)$，即在Hi的条件下出现样本X的概率：$P(X|H_i)=\prod_{j}expo(\lambda_i,x_j)$ 〔1〕 这里expo(λ, x)表示的是参数为λ的指数分布在x处的概率密度函数。$PDF_{expo}(\lambda,x)=\lambda e^{-\lambda x}$符号$\prod$的意思请参考http://wikipedia.org/wiki/Multiplication#Capital_Pi_notation。
3. 然后利用贝叶斯定理计算后验概率$P(H_i|X)=P(H_i)P(X|H_i)/f$ , $f$是一个归一化因子 $f = \sum_iP(H_i)P(X|H_i)$

   〔1〕这里对$H_i$进行了离散化处理，我们选择第i个小区间中的一个值$x_i$来代替$H_i$，因为指数分布的参数是一个数。这样只要我们划分的区间数量足够多，近似处理后的结果与用积分方式计算的结果就很接近。——译者注

得到了参数的后验分布后，就很容易计算置信区间了。例如，90%的置信区间的上下限就可以选择后验分布95%和5%的百分位数。

贝叶斯置信区间有时又称为可信区间（credible interval）。贝叶斯统计定义的置信区间与频率学派定义的置信区间之间的差别请参考 http://wikipedia.org/wiki/Credible_interval。