9.7 拟合优度

在用线性模型拟合完数据之后，我们需要评估模型拟合的好坏情况。当然，这种评估取决于我们想要用这个模型来做什么。一种评估模型的办法是计算模型的预测能力。

在一个预测模型中，我们要预测的值称为因变量（dependent variable），而用于预测的值称为解释变量或自变量（explanatory variable或independent variable）。

我们可以通过计算模型的确定系数（coefficient of determination），也即通常所说的$R^2$，来评价模型的预测能力： $R^2 = 1 - \frac{Var(\varepsilon)}{Var(Y)}$ 我们通过一个例子来解释一下R2的意义。假设你试图去猜测一群人的体重是多少，你知道这群人的平均体重是$\bar{y}$。如果除此之外你对这些人一点儿都不了解，那么你最佳的策略是选择猜测他们所有人的体重都是$\bar{y}$。这时，估计的均方误差就是这个群体的方差var(Y): $MSE = \frac{1}{n}\sum(\bar{y}-y_i)^2 = Var(Y)$ 接下来，假如我告诉你这群人的身高信息，那么你就可以猜测体重大约为$\hat{\alpha}+\hat{\beta}x_i$，在这种情况下，估计的均方误差就为Var(ε)： $MSE = \frac{1}{N}\sum (\hat{\alpha}+\hat{\beta}x_i-y_i)^2 = Var(\varepsilon)$ 所以，Var(ε)/Var(Y)表示的是有解释变量情况下的均方误差与没有解释变量情况下的均方误差的比值，也即不能被模型解释的均方误差占总的均方误差的比例。这样R2表示的就是能被模型解释的变异性的比例。

假如一个模型的$R^2=0.64$，那么我们就可以说这个模型解释了64%的变异性，或者可以更精确地说，这个模型使你预测的均方误差降低了64%。

在线性最小二乘模型中，我们可以证明确定系数和两个变量的皮尔逊相关系数存在一个非常简单的关系，即：

$R^2 = \rho^2$

具体证明可参考http://en.wikipedia.org/wiki/Coefficient_of_determination。

习题9-8

韦克斯勒成人智力量测验（Wechsler Adult Intelligence Scale，WAIS）是一种测量智商的方法。测量的分数都进行了校正，使得其人群中的均值为100，标准差为15。

假设你想通过一群人的SAT成绩来预测这些人的WAIS分数。根据之前的一项研究，SAT成绩与WAIS分数之间的皮尔逊相关系数为0.72。

如果将你的模型用到一个非常大的人群中，你预期预测的均方误差会是多少？

提示：如果总是预测WAIS分数等于100，那么均方误差会是多少呢？

习题9-9

编写一个名为Residuals的函数，根据 X、Y、$\hat{\alpha}$和$\hat{\beta}$，计算残差$\varepsilon_i$。

编写一个名为CoefDetermination的函数，根据$\varepsilon_i$和Y，计算$R^2$。 要测试函数的正确性，看是否有$R^2=\rho^2$。读者可以从http://thinkstats.com/correlation.py下载问题的答案。

习题9-10

根据BRFSS中身高和体重的数据，计算$\hat{\alpha}$、$\hat{\beta}$和$R^2$。如果需要预测一个人的体重，那么他的身高会对你起多大的帮助？读者可以从http://thinkstats.com/brfss_corr.py下载问题的答案。