8.1 关于估计的游戏

让我们从一个游戏开始。我想到一个分布，然后让你去猜这个是什么分布。我们将从简单的情况出发，逐步开始我们的讨论。

关于我心里想到的那个分布，我会提示两点：一是这是一个正态分布，二是我们有一组从这个分布中得到的随机样本：

{-0.441, 1.774, -0.101, -1.138, 2.975, -2.138}

你认为这个分布的均值参数μ会是多少呢？

一种简单的方法是用样本的均值去估计μ\mu。到目前为止，我们一直用μ\mu这个符号表示样本均值和分布的均值。但从现在开始，我们将区分这两个概念。我们用x¯\bar{x}表示样本均值。在这个例子中，x¯=0.155\bar{x}=0.155，所以我们有理由猜测μ=0.155\mu=0.155。

上述过程称为估计（estimation），用来估计分布参数的统计量（在这里是样本均值）称为估计量（estimator）。

利用样本均值来估值μ似乎无可厚非，我们很难再想到有什么比它更好的估计量了。接下来假设我们改变了游戏规则，在随机样本中加入一些异常值。

现在游戏变成这样：我想到一个分布，然后告诉猜的人这是个正态分布。但是随机样本是由一个粗心的人来抽取，他有时会把小数点标在错误的位置，于是最终得到了这样的一组数据：

{-0.441, 1.774, -0.101, -1.138, 2.975, -213.8}

那么这时对μ的估计应该是多少呢？假如我们还是用样本均值，那么估计的结果是-35.12。这是最好的估计结果吗？有没有其他方法可以用来估计μ\mu呢？

一种直观的方法是先鉴定出异常值并对其进行修剪，然后再用剩下的样本的均值来估计参数。除此之外，还有一种方法是用中位数作为估计量，而不再用样本均值。

选择哪一种方法要视具体情况（例如，是否存在异常值）和估计的目的而定，是要让误差最小，还是要让得出正确答案的可能性最大？

假设不存在异常值，那么样本均值会最小化均方误差（Mean Squared Error，MSE）。假设我们多次进行这个游戏，每次游戏结束后计算x¯−μ\bar{x}-\mu，样本均值会使得下式达到最小值： MSE=1m∑(x¯−μ)2 MSE = \frac{1}{m}\sum(\bar{x}-\mu)^2 这里，m表示的是游戏进行的次数（这里不要同n混淆了，n表示的是每次游戏中得到的样本的数量）。

用样本均值估计μ能最小化均方误差，这是一个非常好的性质，但它并不总是最优策略。例如：假设我们正在评估一个建筑工地的风速分布，如果估计得太高，我们可能会建造过多的结构，导致成本增加；但如果估计得过低， 大楼可能会倒塌。这时误差的损失函数并不是对称的，最小化均方误差就不是最优策略了。

另一个例子，假设我掷了三次六面骰子然后问你三次得到的点数总和是多少，如果你猜对了会得到一个奖品，猜错了则什么也没有。这种情况下，如果我们要让均方误差最小，得到的结果是10.5，显然这是个糟糕的数字。这里，你需要的是一个能使得你有最大的概率猜对的估计，也即极大似然估计值（Maximum Likelihood Estimator，MLE）。如果你选择10或11，那么你将有1/8的机会猜对，这个才是你的最优选择。

习题8-1

编写一个函数，从一个均值为0、方差为1的正态分布中产生6个随机数，利用这些随机数估计均值，并计算误差x¯−μ\bar{x}-\mu。运行1000次这个函数，计算均方误差。

接下来修改一下函数，改为用中位数作为均值的估计，再计算此时估计的均方误差。请读者试着比较这两种估计的差别。