ISE529 预测分析 · 考试复习

这一页开头是 6 份课件的 公式总表，后面按 exam Practice 的 7 道题整理成 5 个知识点。每个知识点先列核心公式，再放考试题，最后放课件（Lecture）和作业（HW）里对应的例题。点击 查看答案 展开解答。

• 0. 公式总表（Lecture 01–06）
• 1. Bias-Variance 与模型灵活度
• 2. 线性回归的矩阵形式与系数推断
• 3. ANOVA、R²、F 检验与 Extra Sum of Squares
• 4. Logistic 回归
• 5. Bayes 分类器、LDA、QDA 与 KNN

0. 公式总表（Lecture 01–06）

按课件顺序整理，括号里是课件页码。考试前从头到尾过一遍。

Lecture 01 · 概率与统计复习

常见分布

分布	PMF / PDF	$E(X)$	$\operatorname{Var}(X)$
Bernoulli$(p)$ (p.53)	$p(x)=p^x(1-p)^{1-x},\ x\in\{0,1\}$	$p$	$p(1-p)$
Binomial$(n,p)$ (p.55)	$\binom{n}{x}p^x(1-p)^{n-x}$	$np$	$np(1-p)$
Poisson$(\lambda)$ (p.57)	$\dfrac{e^{-\lambda}\lambda^x}{x!}$	$\lambda$	$\lambda$
Normal$(\mu,\sigma^2)$ (p.66)	$\dfrac{1}{\sigma\sqrt{2\pi}}\exp\!\Big[-\dfrac{(x-\mu)^2}{2\sigma^2}\Big]$	$\mu$	$\sigma^2$

• Poisson 过程 (p.59)：$P(N(t)=n)=\dfrac{(\lambda t)^ne^{-\lambda t}}{n!}$，$E[N(t)]=\lambda t$。
• 标准化 (p.66, 86)：$Z=\dfrac{X-\mu}{\sigma}\sim N(0,1)$，$\Phi(t)=P(Z<t)$。

条件概率与 Bayes 公式 (p.70–71)

$$P(A\mid B)=\frac{P(AB)}{P(B)},\qquad P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A)},\qquad P(A)=\sum_iP(A\mid B_i)P(B_i)$$

期望与方差 (p.76–84)

$$E(X)=\sum_x x\,p(x)\ \ \text{或}\ \ \int_{-\infty}^{\infty}x f(x)\,dx,\qquad \operatorname{Var}(X)=E[(X-\mu)^2]=E(X^2)-[E(X)]^2$$ $$E(aX+b)=aE(X)+b,\qquad \operatorname{Var}(aX+b)=a^2\operatorname{Var}(X),\qquad \sigma_{aX+b}=|a|\sigma_X$$

协方差与相关系数 (p.85)

$$\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)],\qquad \rho=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}\in[-1,1]$$ $$\operatorname{Var}(X\pm Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)\pm2\operatorname{Cov}(X,Y)$$

独立 ⇒ $\operatorname{Cov}=0$，反过来不成立。

Lecture 02 · 预测建模基础

模型与误差分解 (p.17, 44)

$$Y=f(X)+\varepsilon,\qquad E\big[(Y-\hat Y)^2\big]=\underbrace{[f(X)-\hat f(X)]^2}_{\text{reducible}}+\underbrace{\operatorname{Var}(\varepsilon)}_{\text{irreducible}}$$

MSE 与偏差-方差分解 (p.34, 42–44)

$$MSE=\frac1n\sum_{i=1}^n\big(y_i-\hat f(x_i)\big)^2,\qquad E\big[(y_0-\hat f(x_0))^2\big]=\operatorname{Var}(\hat f(x_0))+[\operatorname{Bias}(\hat f(x_0))]^2+\operatorname{Var}(\varepsilon)$$

无偏估计量 (p.40–41)

• 定义：$E(\hat\Theta)=\theta$；偏差 $\operatorname{Bias}=E(\hat\Theta)-\theta$。
• 样本均值无偏：$\bar X=\dfrac1n\sum X_i$，$E(\bar X)=\mu$，$\operatorname{Var}(\bar X)=\dfrac{\sigma^2}{n}$。
• 样本方差无偏（分母是 $n-1$）：

$$S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2,\qquad E(S^2)=\sigma^2$$

证明要点：$E\big[\sum(X_i-\bar X)^2\big]=\sum E(X_i^2)-nE(\bar X^2)=n(\sigma^2+\mu^2)-n\big(\tfrac{\sigma^2}{n}+\mu^2\big)=(n-1)\sigma^2$。

• 在所有无偏估计量中方差最小的叫 minimum variance unbiased estimator (MVUE)。

分类误差、Bayes 分类器与 KNN (p.46–49)

$$\text{Error rate}=\frac1n\sum_{i=1}^nI(y_i\ne\hat y_i),\qquad \text{Bayes: }\hat y_0=\arg\max_j\Pr(Y=j\mid X=x_0)$$ $$\text{Bayes error rate}=1-E\Big[\max_j\Pr(Y=j\mid X)\Big],\qquad \text{KNN: }\Pr(Y=j\mid X=x_0)=\frac1K\sum_{i\in N_0}I(y_i=j)$$

Lecture 03 · 简单线性回归

模型与最小二乘 (p.8–9)

$$Y=\beta_0+\beta_1x+\varepsilon,\qquad S_{xx}=\sum(x_i-\bar x)^2=\sum x_i^2-\frac{(\sum x_i)^2}{n},\qquad S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)=\sum x_iy_i-\frac{(\sum x_i)(\sum y_i)}{n}$$ $$\hat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad \hat\beta_0=\bar y-\hat\beta_1\bar x,\qquad e_i=y_i-\hat y_i$$

$\sigma^2$ 的无偏估计 (p.12)

$$SS_E=\sum_{i=1}^n(y_i-\hat y_i)^2,\qquad \hat\sigma^2=\frac{SS_E}{n-2}$$

（分母 $n-2$，因为估计了 $\beta_0,\beta_1$ 两个参数；多元回归推广为 $n-p$。）

系数的期望、方差与标准误 (p.16)

$$E(\hat\beta_1)=\beta_1,\quad V(\hat\beta_1)=\frac{\sigma^2}{S_{xx}},\qquad E(\hat\beta_0)=\beta_0,\quad V(\hat\beta_0)=\sigma^2\Big[\frac1n+\frac{\bar x^2}{S_{xx}}\Big]$$ $$se(\hat\beta_1)=\sqrt{\frac{\hat\sigma^2}{S_{xx}}},\qquad se(\hat\beta_0)=\sqrt{\hat\sigma^2\Big[\frac1n+\frac{\bar x^2}{S_{xx}}\Big]}$$

t 检验与置信区间 (p.13–20)

$$T=\frac{\bar X-\mu}{S/\sqrt n}\sim t_{n-1},\qquad \bar X\pm t_{\alpha/2,n-1}\frac{S}{\sqrt n}$$ $$T_0=\frac{\hat\beta_1-\beta_{1,0}}{se(\hat\beta_1)}\sim t_{n-2},\qquad \hat\beta_1\pm t_{\alpha/2,n-2}\sqrt{\frac{\hat\sigma^2}{S_{xx}}},\qquad \hat\beta_0\pm t_{\alpha/2,n-2}\sqrt{\hat\sigma^2\Big[\frac1n+\frac{\bar x^2}{S_{xx}}\Big]}$$

预测区间 (p.23–24)

$$\hat y_0\pm t_{\alpha/2,n-2}\sqrt{\hat\sigma^2\Big[1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\Big]}$$

预测区间永远比均值置信区间宽，多出的“1”来自新观测本身的误差。

ANOVA (p.25)

$$SS_T=\sum(y_i-\bar y)^2=SS_R+SS_E,\qquad SS_R=\sum(\hat y_i-\bar y)^2$$

相关系数与回归 (p.29)

$$\rho=\frac{\sigma_{XY}}{\sigma_X\sigma_Y},\qquad \beta_1=\rho\frac{\sigma_Y}{\sigma_X},\qquad \beta_0=\mu_Y-\mu_X\rho\frac{\sigma_Y}{\sigma_X}$$

最大似然 (p.35–38)

$$L(\theta)=\prod_{i=1}^nf(x_i\mid\theta),\qquad l(\beta_0,\beta_1,\sigma^2)=-\frac n2\ln2\pi-\frac n2\ln\sigma^2-\frac{1}{2\sigma^2}\sum(y_i-\beta_0-\beta_1x_i)^2$$

对 $\beta_0,\beta_1$ 求导等于 0 得到与最小二乘相同的估计；$\sigma^2$ 的 MLE 是 $\dfrac{SS_E}{n}$（有偏），所以用 $\dfrac{SS_E}{n-2}$。

Lecture 04 · 多元线性回归

模型与矩阵形式 (p.6, 14–15)

$$y_i=\beta_0+\sum_{j=1}^k\beta_jx_{ij}+\varepsilon_i,\qquad \mathbf y=X\boldsymbol\beta+\boldsymbol\varepsilon,\qquad \hat{\boldsymbol\beta}=(X'X)^{-1}X'\mathbf y,\qquad \hat{\mathbf y}=X\hat{\boldsymbol\beta}$$

$\sigma^2$ 的无偏估计 (p.16)：$p=k+1$ 个参数

$$\hat\sigma^2=\frac{\sum e_i^2}{n-p}=\frac{SS_E}{n-p}=MS_E$$

系数的性质 (p.28–29)

$$E(\hat{\boldsymbol\beta})=\boldsymbol\beta,\qquad \operatorname{Cov}(\hat{\boldsymbol\beta})=\sigma^2(X'X)^{-1}=\sigma^2C,\qquad \operatorname{Var}(\hat\beta_j)=\sigma^2C_{jj},\qquad \operatorname{Cov}(\hat\beta_i,\hat\beta_j)=\sigma^2C_{ij}$$

整体 F 检验 (p.25)

来源	SS	df	MS	$F_0$
Regression	$SS_R$	$k$	$MS_R=SS_R/k$	$MS_R/MS_E$
Error	$SS_E$	$n-p$	$MS_E=SS_E/(n-p)$
Total	$SS_T$	$n-1$

$H_0:\beta_1=\dots=\beta_k=0$，$F_0>f_{\alpha,k,n-p}$ 时拒绝。

单个系数 t 检验与 CI (p.30, 33)

$$T_0=\frac{\hat\beta_j-\beta_{j0}}{\sqrt{\hat\sigma^2C_{jj}}}\ \ (\text{拒绝若 }|T_0|>t_{\alpha/2,n-p}),\qquad \hat\beta_j\pm t_{\alpha/2,n-p}\sqrt{\hat\sigma^2C_{jj}}$$

均值响应 CI 与预测区间 (p.35, 38)

$$\hat\mu_{Y|x_0}=\mathbf x_0'\hat{\boldsymbol\beta},\qquad \hat\mu_{Y|x_0}\pm t_{\alpha/2,n-p}\sqrt{\hat\sigma^2\,\mathbf x_0'(X'X)^{-1}\mathbf x_0}$$ $$\hat y_0\pm t_{\alpha/2,n-p}\sqrt{\hat\sigma^2\big(1+\mathbf x_0'(X'X)^{-1}\mathbf x_0\big)}$$

$R^2$、Adjusted $R^2$ 与标准化残差 (p.41, 43)

$$R^2=\frac{SS_R}{SS_T}=1-\frac{SS_E}{SS_T},\qquad R^2_{adj}=1-\frac{SS_E/(n-p)}{SS_T/(n-1)},\qquad d_i=\frac{e_i}{\sqrt{MS_E}}$$

交互项、多项式与虚拟变量 (p.47–64)

$$Y=\beta_0+\beta_1x_1+\beta_2x_2+\beta_{12}x_1x_2+\beta_{11}x_1^2+\beta_{22}x_2^2+\varepsilon$$

对参数线性就是线性回归。$m$ 个水平的分类变量用 $m-1$ 个 0/1 虚拟变量，剩下的那个水平是 baseline。

Extra sum of squares / Partial F (p.66–68)

$$SS_R(\boldsymbol\beta)=\hat{\boldsymbol\beta}'X'\mathbf y-\frac{(\sum y_i)^2}{n},\qquad MS_E=\frac{\mathbf y'\mathbf y-\hat{\boldsymbol\beta}'X'\mathbf y}{n-p}$$ $$F_0=\frac{SS_R(\boldsymbol\beta_1\mid\boldsymbol\beta_2)/r}{MS_E},\qquad SS_R(\boldsymbol\beta_1\mid\boldsymbol\beta_2)=SS_R(\boldsymbol\beta)-SS_R(\boldsymbol\beta_2),\qquad \text{拒绝若 }F_0>f_{\alpha,r,n-p}$$

模型选择指标 (p.73–75)

$$AIC=-2\ln L+2p=n\ln(MSE)+2p+C,\qquad BIC=-2\ln L+p\ln n=n\ln(MSE)+p\ln n+C$$ $$C_p=\frac{SS_E(p)}{\hat\sigma^2_{full}}-n+2p\ (\text{选 }C_p\approx p),\qquad PRESS=\sum_{i=1}^n\big(y_i-\hat y_{(i)}\big)^2=\sum_{i=1}^n\Big(\frac{e_i}{1-h_{ii}}\Big)^2$$

AIC、BIC、PRESS 越小越好；BIC 惩罚更重，偏好更简单的模型。变量选择方法：all possible regressions、forward、backward、stepwise (p.76–84)。

多重共线性 (p.86–87)

$$VIF(\beta_j)=\frac{1}{1-R_j^2}$$

$R_j^2$ 是用其他自变量回归 $x_j$ 的 $R^2$。$VIF>10$（也有说 $>4$ 或 $5$）说明共线性严重。整体 F 显著但单个 t 都不显著，也是共线性的信号。

Lecture 05 · Logistic 回归

模型与 odds (p.4–5)

$$\log\frac{p_i}{1-p_i}=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip},\qquad p_i=\frac{e^{\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}}}{1+e^{\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}}}$$

$p/(1-p)$ 是 odds，取值 $(0,\infty)$；$\beta_j$ 是 $x_j$ 加 1 时 log-odds 的变化量。

最大似然估计 (p.6–7)

$$L(\boldsymbol\beta)=\prod_{i=1}^np_i^{Y_i}(1-p_i)^{1-Y_i},\qquad l(\boldsymbol\beta)=\sum_{i=1}^n\Big[Y_i\sum_{j=0}^p\beta_jx_{ij}-\log\big(1+e^{\sum_j\beta_jx_{ij}}\big)\Big]$$ $$\frac{\partial l}{\partial\beta_m}=\sum_{i=1}^nx_{im}\big(Y_i-p_i\big)=0,\qquad \text{Newton-Raphson: }\hat\beta_{n+1}=\hat\beta_n-\frac{l'(\hat\beta_n)}{l''(\hat\beta_n)}$$

似然比检验 (p.9)

$$D=-2\log\Lambda=-2\log\frac{L(\hat\beta_0,\dots,\hat\beta_{p-1},0)}{L(\hat\beta_0,\dots,\hat\beta_p)}\ \sim\ \chi^2_1\quad(\text{拒绝 }H_0:\beta_p=0\text{ 若 }D>\chi^2_1(\alpha))$$

Binomial logistic 回归（分组数据，p.15–16）

$$\Pr(y_i)=\binom{n_i}{y_i}p_i^{y_i}(1-p_i)^{n_i-y_i},\qquad l(\boldsymbol\beta)=\sum_{i=1}^N\Big[y_i\sum_j\beta_jx_{ij}-n_i\log\big(1+e^{\sum_j\beta_jx_{ij}}\big)\Big]$$

Multinomial logistic 回归 (p.19–20)：以第 $K$ 类为 baseline

$$\Pr(Y=k\mid x)=\frac{e^{\beta_{k0}+\beta_{k1}x_1+\dots+\beta_{kp}x_p}}{1+\sum_{l=1}^{K-1}e^{\beta_{l0}+\beta_{l1}x_1+\dots+\beta_{lp}x_p}},\qquad \Pr(Y=K\mid x)=\frac{1}{1+\sum_{l=1}^{K-1}e^{\beta_{l0}+\dots+\beta_{lp}x_p}}$$ $$\log\frac{\Pr(Y=k\mid x)}{\Pr(Y=K\mid x)}=\beta_{k0}+\beta_{k1}x_1+\dots+\beta_{kp}x_p,\qquad \text{Softmax: }\Pr(Y=k\mid x)=\frac{e^{\beta_{k0}+\dots+\beta_{kp}x_p}}{\sum_{l=1}^Ke^{\beta_{l0}+\dots+\beta_{lp}x_p}}$$

Lecture 06 · 判别分析、Naive Bayes、Poisson 回归与 KNN

Bayes 定理用于分类 (p.5)

$$\Pr(Y=k\mid X=x)=\frac{\pi_kf_k(x)}{\sum_{l=1}^K\pi_lf_l(x)},\qquad \pi_k=\Pr(Y=k),\quad f_k(x)=\Pr(X=x\mid Y=k)$$

LDA，$p=1$ (p.9–12)：各类方差相同

$$\delta_k(x)=x\cdot\frac{\mu_k}{\sigma^2}-\frac{\mu_k^2}{2\sigma^2}+\log\pi_k,\qquad K=2,\ \pi_1=\pi_2\Rightarrow x=\frac{\mu_1+\mu_2}{2}$$ $$\hat\pi_k=\frac{n_k}{n},\qquad \hat\mu_k=\frac{1}{n_k}\sum_{i:y_i=k}x_i,\qquad \hat\sigma^2=\frac{1}{n-K}\sum_{k=1}^K\sum_{i:y_i=k}(x_i-\hat\mu_k)^2$$

LDA，$p>1$ (p.13–16)：$X\sim N(\boldsymbol\mu_k,\boldsymbol\Sigma)$，共同协方差矩阵

$$f(x)=\frac{1}{(2\pi)^{p/2}|\boldsymbol\Sigma|^{1/2}}\exp\Big(-\tfrac12(x-\boldsymbol\mu)^T\boldsymbol\Sigma^{-1}(x-\boldsymbol\mu)\Big),\qquad \delta_k(x)=x^T\boldsymbol\Sigma^{-1}\boldsymbol\mu_k-\tfrac12\boldsymbol\mu_k^T\boldsymbol\Sigma^{-1}\boldsymbol\mu_k+\log\pi_k$$ $$\widehat{\Pr}(Y=k\mid X=x)=\frac{e^{\hat\delta_k(x)}}{\sum_{l=1}^Ke^{\hat\delta_l(x)}}$$

QDA (p.24)：每类有自己的 $\boldsymbol\Sigma_k$

$$\delta_k(x)=-\tfrac12(x-\boldsymbol\mu_k)^T\boldsymbol\Sigma_k^{-1}(x-\boldsymbol\mu_k)-\tfrac12\log|\boldsymbol\Sigma_k|+\log\pi_k$$

混淆矩阵 (p.17–20)

指标	定义	别名
False positive rate	$FP/N$	Type I error，$1-$specificity
True positive rate	$TP/P$	sensitivity，recall，power
Positive predictive value	$TP/\hat P$	precision
Negative predictive value	$TN/\hat N$
Error rate	$(FP+FN)/n$

Naive Bayes (p.28–30)：类内各变量独立

$$f_k(x)=f_{k1}(x_1)f_{k2}(x_2)\cdots f_{kp}(x_p),\qquad \Pr(Y=k\mid x)=\frac{\pi_k\prod_jf_{kj}(x_j)}{\sum_l\pi_l\prod_jf_{lj}(x_j)}$$

Gaussian Naive Bayes：$\delta_k(x)\propto-\dfrac12\sum_{j=1}^p\Big[\dfrac{(x_j-\mu_{kj})^2}{\sigma_{kj}^2}+\log\sigma_{kj}^2\Big]+\log\pi_k$

Poisson 回归 (p.36–37)

$$\Pr(Y=k)=\frac{e^{-\lambda}\lambda^k}{k!},\qquad \log\lambda=\beta_0+\beta_1X_1+\dots+\beta_pX_p,\qquad l(\boldsymbol\beta)=\sum_{i=1}^n\big(Y_i\log\lambda_i-\lambda_i-\log Y_i!\big)$$

广义线性模型 GLM (p.40–41)

模型	$Y$ 的分布	链接函数 $\eta(\mu)$
Linear	Normal	$\mu$
Logistic	Bernoulli	$\log\dfrac{\mu}{1-\mu}$
Poisson	Poisson	$\log\mu$

Logistic vs. LDA (p.44)：两类时 LDA 也有 $\log\dfrac{p_1(x)}{1-p_1(x)}=c_0+c_1x_1+\dots+c_px_p$ 的形式；区别在估计方法（logistic 用条件似然，LDA 用联合似然）。

KNN 距离 (p.47, 50)

$$\text{Euclidean: }\sqrt{\sum(x_i-y_i)^2},\qquad \text{Manhattan: }\sum|x_i-y_i|,\qquad \text{Minkowski: }\Big(\sum|x_i-y_i|^q\Big)^{1/q},\qquad \text{Hamming: }\sum I(x_i\ne y_i)$$

变量量纲不同时先标准化（例如 min-max：$\dfrac{x-\min}{\max-\min}$）再算距离。

1. Bias-Variance 与模型灵活度

核心公式

$$E\big[(y_0-\hat f(x_0))^2\big]=\operatorname{Var}(\hat f(x_0))+\big[\operatorname{Bias}(\hat f(x_0))\big]^2+\operatorname{Var}(\varepsilon)$$

• 模型越灵活：bias 下降，variance 上升；training error 一直下降，test error 呈 U 形。
• $\operatorname{Var}(\varepsilon)$ 是 irreducible error，任何模型都去不掉，是 test error 的下限。
• 嵌套模型（例如 linear ⊂ cubic）：更大的模型 training RSS 一定不会更高，但 test RSS 不一定。

Exam Q4 Linear vs. Cubic 回归

有 $n=100$ 个观测，一个预测变量。分别拟合线性回归和三次回归 $Y=\beta_0+\beta_1X+\beta_2X^2+\beta_3X^3+\varepsilon$。

(a) 如果真实关系是线性的 $Y=\beta_0+\beta_1X+\varepsilon$，比较两者的 training RSS；test RSS 呢？ (b) 如果真实关系不是线性的，但不知道离线性有多远，比较 training RSS 和 test RSS。

查看答案

(a) Training RSS：cubic 更低（至少不会更高）。三次模型包含线性模型，最小二乘时多出来的项会去拟合噪声。 Test RSS：linear 更低。真实关系是线性的，三次项只增加 variance（过拟合），bias 不会再下降。

(b) Training RSS：cubic 更低，理由同上，与真实关系无关。 Test RSS：信息不足，无法确定。如果真实关系离线性很远，cubic 降低的 bias 多于增加的 variance，test RSS 更低；如果只是轻微非线性，linear 可能更好。

HW1 Q1 灵活模型 vs. 不灵活模型

判断下面每种情况，灵活（flexible）方法通常表现更好还是更差： (a) $n$ 极大、$p$ 很小；(b) $p$ 极大、$n$ 很小；(c) 预测变量与响应高度非线性；(d) 误差方差 $\sigma^2=\operatorname{Var}(\varepsilon)$ 极大。

查看答案

• (a) 更好：样本多，灵活模型的 variance 被压低，可以用更低的 bias 换取更好的拟合。
• (b) 更差：样本少、变量多，灵活模型极易过拟合，variance 很大。
• (c) 更好：不灵活（线性）模型 bias 很大，灵活模型能捕捉非线性。
• (d) 更差：噪声很大时，灵活模型会去拟合噪声，variance 上升；简单模型更稳。

HW1 Q2 五条曲线与偏差-方差分解

(a) 画出随灵活度增加时的 squared bias、variance、training error、test error、irreducible error 五条曲线；(b) 解释形状；(c) 证明 $E[f(x_0)-\hat f(x_0)]^2=\operatorname{Var}(\hat f(x_0))+[\operatorname{Bias}(\hat f(x_0))]^2$。

查看答案

(a)(b)

• Squared bias：单调下降。模型越灵活，越能逼近真实 $f$。
• Variance：单调上升。越灵活，换一份训练集拟合结果变化越大。
• Training error：单调下降。灵活模型能越来越贴合训练点。
• Test error：U 形。先因 bias 下降而下降，后因 variance 上升而上升。
• Irreducible error：水平线 $\operatorname{Var}(\varepsilon)$，test error 永远在它之上。

(c) 记 $\bar f=E[\hat f(x_0)]$，加一项减一项：

$$E[f-\hat f]^2=E[(f-\bar f)+(\bar f-\hat f)]^2=(f-\bar f)^2+2(f-\bar f)\,E[\bar f-\hat f]+E[\bar f-\hat f]^2$$

因为 $f$ 与 $\bar f$ 都是常数，且 $E[\bar f-\hat f]=0$，交叉项为 0，所以

$$E[f-\hat f]^2=[\operatorname{Bias}(\hat f)]^2+\operatorname{Var}(\hat f)$$

课件对应：Lecture 02 p.42–45（The Bias-Variance Trade-Off），p.38–39（Overfitting 的两个例子）。

2. 线性回归的矩阵形式与系数推断

核心公式

$$\mathbf y=X\boldsymbol\beta+\boldsymbol\varepsilon,\qquad \hat{\boldsymbol\beta}=(X'X)^{-1}X'\mathbf y$$ $$\operatorname{Cov}(\hat{\boldsymbol\beta})=\sigma^2(X'X)^{-1}=\sigma^2C,\qquad \operatorname{Var}(\hat\beta_j)=\sigma^2C_{jj},\qquad se(\hat\beta_j)=\sqrt{\hat\sigma^2C_{jj}}$$

• 注意 $X$ 的 第一列全是 1（对应截距），所以 $(X'X)^{-1}$ 是 $(k+1)\times(k+1)$。
• 单个系数的 t 检验：$t_0=\hat\beta_j/se(\hat\beta_j)$，自由度 $n-p$（$p=k+1$）。

Exam Q1 由 $(X'X)^{-1}$ 读出方差和标准误

$$(X'X)^{-1}=\begin{bmatrix}0.893758&-0.028245&-0.0175641\\-0.028245&0.0013329&0.0001547\\-0.0175641&0.0001547&0.0009108\end{bmatrix}$$

(a) 回归模型中有几个变量？(b) 如果 $\hat\sigma^2=50$，每个回归系数方差的估计是多少？(c) 截距的标准误是多少？

查看答案

(a) 矩阵是 $3\times3$，对应 $\beta_0,\beta_1,\beta_2$，所以有 2 个预测变量（外加截距）。

(b) $\operatorname{Var}(\hat\beta_j)=\hat\sigma^2C_{jj}$，取对角线：

$$\operatorname{Var}(\hat\beta_0)=50(0.893758)=44.69,\quad \operatorname{Var}(\hat\beta_1)=50(0.0013329)=0.0666,\quad \operatorname{Var}(\hat\beta_2)=50(0.0009108)=0.0455$$

(c) $se(\hat\beta_0)=\sqrt{44.69}=6.685$。

易错点：非对角线元素是 协方差 $\operatorname{Cov}(\hat\beta_i,\hat\beta_j)=\sigma^2C_{ij}$，不是方差。

Lecture 04 p.17–19, 31 Wire bond 拉力数据（矩阵法）

$n=25$，$x_1$ = wire length，$x_2$ = die height，$y$ = pull strength。

展开原始数据（25 个观测）

Obs	$x_1$ wire length	$x_2$ die height	$y$ pull strength
1	2	50	9.95
2	8	110	24.45
3	11	120	31.75
4	10	550	35.00
5	8	295	25.02
6	4	200	16.86
7	2	375	14.38
8	2	52	9.60
9	9	100	24.35
10	8	300	27.50
11	4	412	17.08
12	11	400	37.00
13	12	500	41.95
14	2	360	11.66
15	4	205	21.65
16	4	400	17.89
17	20	600	69.00
18	1	585	10.30
19	10	540	34.93
20	15	250	46.59
21	15	290	44.88
22	16	510	54.12
23	17	590	56.63
24	6	100	22.13
25	5	400	21.15

由数据得

$$X'X=\begin{bmatrix}25&206&8294\\206&2396&77177\\8294&77177&3531848\end{bmatrix},\quad X'\mathbf y=\begin{bmatrix}725.82\\8008.47\\274811.31\end{bmatrix}$$

求回归方程；并在 $\hat\sigma^2=MS_E=5.2352$、$C_{22}=0.0000015$ 时检验 $H_0:\beta_2=0$（$\alpha=0.05$）。

查看答案

$$\hat{\boldsymbol\beta}=(X'X)^{-1}X'\mathbf y=\begin{bmatrix}0.214653&-0.007491&-0.000340\\-0.007491&0.001671&-0.000019\\-0.000340&-0.000019&0.0000015\end{bmatrix}\begin{bmatrix}725.82\\8008.47\\274811.31\end{bmatrix}=\begin{bmatrix}2.26379\\2.74427\\0.01253\end{bmatrix}$$ $$\hat y=2.26379+2.74427x_1+0.01253x_2$$ $$t_0=\frac{\hat\beta_2}{\sqrt{\hat\sigma^2C_{22}}}=\frac{0.01253}{\sqrt{5.2352\times0.0000015}}=4.477>t_{0.025,22}=2.074$$

拒绝 $H_0$，die height 对模型有显著贡献（P 值约 0.0002）。

HW2 Q2 (a)(b) 轴承磨损数据

$y$ = wear，$x_1$ = oil viscosity，$x_2$ = load，6 个观测（bearingdata.csv）：

Obs	$y$ (wear)	$x_1$ (viscosity)	$x_2$ (load)
1	293	1.6	851
2	230	15.5	816
3	172	22.0	1058
4	91	43.0	1201
5	113	33.0	1357
6	125	40.0	1115

(a) 拟合 $y=\beta_0+\beta_1x_1+\beta_2x_2+\varepsilon$；(b) 估计 $\sigma^2$，计算每个系数的 t 统计量（$\alpha=0.05$）。

查看答案

(a) $\hat y=383.80-3.638\,x_1-0.1117\,x_2$

(b) $SSE=457.86$，$\hat\sigma^2=MSE=SSE/(n-p)=457.86/3=152.62$。

系数	估计	t	结论（$t_{0.025,3}=3.182$）
$\beta_0$	383.80	10.60	显著
$\beta_1$（viscosity）	−3.638	−6.42	显著
$\beta_2$（load）	−0.1117	−2.57	不显著

3. ANOVA、R²、F 检验与 Extra Sum of Squares

核心公式（$n$ 个观测，$k$ 个预测变量，$p=k+1$）

$$SST=SSR+SSE,\qquad R^2=\frac{SSR}{SST},\qquad R^2_{adj}=1-\frac{SSE/(n-p)}{SST/(n-1)}$$ $$F_0=\frac{SSR/k}{SSE/(n-p)}=\frac{MSR}{MSE}\sim F_{k,\,n-p},\qquad \text{拒绝 }H_0:\beta_1=\dots=\beta_k=0\text{ 若 }F_0>F_{\alpha,k,n-p}$$

Partial F（extra sum of squares）：在已有模型上增加 $r$ 个变量

$$F_0=\frac{\big[SSR(\text{full})-SSR(\text{reduced})\big]/r}{MSE(\text{full})}\sim F_{r,\,n-p_{full}}$$

分母一定用 完整模型（full model） 的 MSE。

Exam Q2 由平方和做整体检验和偏 F 检验

模型有 2 个回归变量，20 个观测，$SST=1000$，$SSR=750$。 (a) $R^2$？(b) Adjusted $R^2$？(c) 计算 F 统计量检验回归显著性，$\alpha=0.05$ 和 $\alpha=0.01$ 时结论分别是什么？(d) 再加入第三个回归变量后 $SSR=785$，加入这个变量是否改进了模型？

查看答案

$n=20$，$k=2$，$p=3$，$SSE=SST-SSR=250$。

(a) $R^2=750/1000=0.75$

(b) $R^2_{adj}=1-\dfrac{250/17}{1000/19}=1-\dfrac{14.71}{52.63}=0.721$

(c)

$$F_0=\frac{750/2}{250/17}=\frac{375}{14.71}=25.5$$

$F_{0.05,2,17}=3.59$，$F_{0.01,2,17}=6.11$。两种 $\alpha$ 下都有 $F_0>F$，拒绝 $H_0:\beta_1=\beta_2=0$，回归显著。

(d) 新模型 $k=3$，$p=4$：$SSR_{full}=785$，$SSE_{full}=1000-785=215$，$MSE_{full}=215/16=13.44$。

$$F_0=\frac{(785-750)/1}{215/16}=\frac{35}{13.44}=2.60<F_{0.05,1,16}=4.49$$

不能拒绝 $H_0:\beta_3=0$，加入第三个变量没有显著改进模型。（虽然 $R^2$ 从 0.75 升到 0.785，但 $R^2$ 加变量一定不会下降，不能据此判断。）

Lecture 04 p.26–27 Wire bond 的 ANOVA 表

查看答案

来源	SS	df	MS	$f_0$
Regression	5990.7712	2	2995.3856	572.17
Error	115.1735	22	5.2352
Total	6105.9447	24

$f_0=572.17>f_{0.05,2,22}=3.44$（P 值 $1.08\times10^{-19}$），拒绝 $H_0$：拉力与 wire length 或 die height（或两者）线性相关。

Lecture 04 p.69–71 加入 $x_3,x_4$ 的 Partial F 检验

Wire bond 数据，已有 $x_1,x_2$ 时 $SSR(\beta_2,\beta_1|\beta_0)=5990.8$；加入 $x_3,x_4$ 后 $SSR(\beta_4,\beta_3,\beta_2,\beta_1|\beta_0)=6024.0$，完整模型 $MSE=4.1$，$n=25$。检验 $x_3,x_4$ 是否有贡献。

查看答案

$$SSR(\beta_4,\beta_3|\beta_2,\beta_1,\beta_0)=6024.0-5990.8=33.2\quad(2\text{ 个自由度})$$ $$f_0=\frac{33.2/2}{4.1}=4.05>f_{0.05,2,20}=3.49$$

拒绝 $H_0$，$x_3,x_4$ 中 至少一个 有显著贡献。分母自由度 $n-p=25-5=20$。

HW2 Q1 补全回归输出表

考虑下面的计算机输出：

The regression equation is Y = 254 + 2.77 x1 − 3.58 x2

Predictor	Coef	SE Coef	T
Constant	253.810	4.781	?
x1	2.7738	0.1846	15.02
x2	−3.5753	0.1526	?

S = 5.05756　　R-Sq = ?　　R-Sq (adj) = 98.4%

Analysis of Variance

Source	DF	SS	MS	F
Regression	2	22784	11392	?
Residual error	?	?	?
Total	14	23091

(a) 补全缺失值；(b) 回归显著性的结论；(c) 各回归变量的贡献。

查看答案

(a) $n=15$

• $T_{const}=253.810/4.781=53.09$，$T_{x_2}=-3.5753/0.1526=-23.43$
• Residual DF $=14-2=12$，$SSE=23091-22784=307$，$MSE=307/12=25.58$（核对：$S^2=5.05756^2=25.58$ ✓）
• $F=11392/25.58=445.3$
• $R^2=22784/23091=98.7\%$

补全后的输出表：

Predictor	Coef	SE Coef	T
Constant	253.810	4.781	53.09
x1	2.7738	0.1846	15.02
x2	−3.5753	0.1526	−23.43

Source	DF	SS	MS	F
Regression	2	22784	11392	445.3
Residual error	12	307	25.58
Total	14	23091

R-Sq = 98.7%

(b) $F=445.3\gg F_{0.05,2,12}=3.89$，回归非常显著。

(c) $|t|$ 都远大于 $t_{0.025,12}=2.179$，$x_1$ 与 $x_2$ 都显著。

HW2 Q2 (c)(e)(g) 轴承数据的整体检验与偏 F 检验

查看答案

(c) $SST=30245.3$，$SSR=29787.5$，$F_0=\dfrac{29787.5/2}{152.62}=97.59>F_{0.05,2,3}=9.55$，P 值 = 0.0019，回归显著。

(d) $x_1=25,\ x_2=1000$：$\hat y=383.80-3.638(25)-0.1117(1000)=181.2$

(e) 只有 $x_1$ 时 $SSE=1469.5$。

$$F_0=\frac{1469.5-457.9}{152.62}=6.63<F_{0.05,1,3}=10.13\ (P=0.082)$$

在已有 $x_1$ 的模型中加入 load 不显著。

(f) 加交互项 $x_1x_2$：$\hat y=483.97-7.656x_1-0.2221x_2+0.004087x_1x_2$，$SSE=293.98$，$F_0=67.92>F_{0.05,3,2}=19.16$（P = 0.0145），整体显著。

(g) $F_0=\dfrac{457.86-293.98}{293.98/2}=1.11<F_{0.05,1,2}=18.51$（P = 0.40），交互项 不显著。

HW2 Q3 由 $R^2$ 反推 F，比较简化模型和 $C_p$

30 个观测，完整模型 9 个回归变量，$\hat\sigma^2=MSE=100$，$R^2=0.92$。 (a) 计算回归显著性的 F 统计量（$\alpha=0.05$）；(b) 只用其中 4 个变量的模型 $SSE=2200$，估计其 $\sigma^2$，简化模型更好吗？(c) 求简化模型的 $C_p$。

查看答案

(a) $SSE=MSE(n-p)=100\times20=2000$，$SST=SSE/(1-R^2)=2000/0.08=25000$，$SSR=23000$。

$$F_0=\frac{23000/9}{100}=25.56>F_{0.05,9,20}=2.39$$

拒绝 $H_0$，回归显著。

(b) $\hat\sigma^2_{reduced}=2200/(30-5)=88<100$。简化模型的 MSE 更小、变量更少，更好。

(c) $C_p=\dfrac{SSE_p}{\hat\sigma^2_{full}}-n+2p=\dfrac{2200}{100}-30+2(5)=2$。 $C_p=2\le p=5$，说明简化模型几乎无偏，结论同样是简化模型更好。

4. Logistic 回归

核心公式

$$p(X)=\Pr(Y=1\mid X)=\frac{e^{\beta_0+\beta_1X_1+\cdots+\beta_pX_p}}{1+e^{\beta_0+\beta_1X_1+\cdots+\beta_pX_p}},\qquad \log\frac{p(X)}{1-p(X)}=\beta_0+\beta_1X_1+\cdots+\beta_pX_p$$

• $\beta_j$ 的解释：其他变量不变时，$X_j$ 增加 1，log-odds 增加 $\beta_j$（odds 乘以 $e^{\beta_j}$）。
• $p(X)=0.5$ 等价于 log-odds $=0$。
• Bernoulli PMF：$P(y)=p^y(1-p)^{1-y}$，$y\in\{0,1\}$。

Exam Q5 学习时长、GPA 与拿 A 的概率

$X_1$ = 学习小时数，$X_2$ = 本科 GPA，$Y$ = 是否拿 A。估计系数 $\hat\beta_0=-6$，$\hat\beta_1=0.05$，$\hat\beta_2=1$。 (a) 学习 40 小时、GPA 3.5 的学生拿 A 的概率？(b) 这个学生需要学习多少小时才有 50% 的概率拿 A？

查看答案

(a) $\eta=-6+0.05(40)+1(3.5)=-0.5$

$$\hat p=\frac{e^{-0.5}}{1+e^{-0.5}}=0.3775$$

(b) $p=0.5\iff\eta=0$：$-6+0.05h+3.5=0\Rightarrow h=50$ 小时。

Exam Q7 类别编码为 $\{-1,1\}$ 时的 logistic 形式

类别编码为 $(0,1)$ 时，$\Pr(y=1|X)=\dfrac{e^{X\beta}}{1+e^{X\beta}}$，$\Pr(y=0|X)=\dfrac{1}{1+e^{X\beta}}$。如果编码为 $(-1,1)$，概率可以写成 $\Pr(y=1\text{ or }-1\mid X)=\dfrac{1}{1+e^{-y(X\beta)}}$。解释原因，并写出 $y\in\{-1,1\}$ 时的 Bernoulli PMF。

查看答案

分子分母同除 $e^{X\beta}$：

$$\Pr(y=1|X)=\frac{e^{X\beta}}{1+e^{X\beta}}=\frac{1}{1+e^{-X\beta}},\qquad \Pr(y=-1|X)=\frac{1}{1+e^{X\beta}}=\frac{1}{1+e^{-(-1)X\beta}}$$

两式只差 $X\beta$ 前的符号，正好就是 $y$ 的取值，所以统一成 $\dfrac{1}{1+e^{-yX\beta}}$。

Bernoulli PMF：$y\in\{0,1\}$ 时 $P(y)=p^y(1-p)^{1-y}$。令 $y\in\{-1,1\}$，用 $\frac{1+y}{2}\in\{0,1\}$ 替换：

$$P(y)=p^{\frac{1+y}{2}}(1-p)^{\frac{1-y}{2}}$$

$y=1$ 时得 $p$，$y=-1$ 时得 $1-p$。

Lecture 05 p.11–12 Default 数据

模型 1：Default ~ balance（p.11）

	Coefficient	Std. error	z-statistic	p-value
Intercept	−10.6513	0.3612	−29.5	<0.0001
balance	0.0055	0.0002	24.9	<0.0001

模型 2：Default ~ balance + income（千美元）+ student（p.12）

	Coefficient	Std. error	z-statistic	p-value
Intercept	−10.8690	0.4923	−22.08	<0.0001
balance	0.0057	0.0002	24.74	<0.0001
income	0.0030	0.0082	0.37	0.7115
student[Yes]	−0.6468	0.2362	−2.74	0.0062

对照：只用 student（p.13，confounding）

	Coefficient	Std. error	z-statistic	p-value
Intercept	−3.5041	0.0707	−49.55	<0.0001
student[Yes]	0.4049	0.1150	3.52	0.0004

(1) 用模型 1，balance 为 1000 时违约概率？ (2) 用模型 2（课件计算时 balance 系数取 0.00574），balance 1500、income 40 的学生与非学生违约概率？

查看答案

(1) $\hat p=\dfrac{e^{-10.6513+0.0055(1000)}}{1+e^{-10.6513+0.0055(1000)}}=0.00576$

(2) 学生：$\eta=-10.869+0.00574(1500)+0.003(40)-0.6468=-2.786$，$\hat p=0.058$ 非学生：$\eta=-2.139$，$\hat p=0.105$

同样的 balance 和 income 下，学生违约概率更低（student 系数为负）。课件 p.13 讲的 confounding：单独用 student 时系数为正，因为学生平均 balance 更高。

HW3 Q2 Titanic：Bernoulli 与 Binomial 两种响应格式

(a) 用 Pclass、Sex、Age 拟合 logistic 回归（Bernoulli 格式）；(b) 把 Age 按 5 岁分箱为 Age_Range 再拟合；(c) 按 Pclass、Sex、Age_Range 分组，转为 Binomial 格式（Survived、Died 两列）拟合；(d) 模型是否充分？

查看答案

• (b) 与 (a) 不同：Age 从连续变量变成分箱变量，模型的设计矩阵变了。
• (c) 与 (b) 的 系数相同：分组后每一行只是把相同预测变量组合下的 Bernoulli 观测合并成 Binomial 计数，似然函数相同（只差一个与参数无关的组合数常数），所以 MLE 一样；但 deviance 和自由度不同。
• (d) 看 residual deviance 与自由度：Binomial 格式下 deviance/df 接近 1、拟合优度检验 P 值大，说明模型充分。

5. Bayes 分类器、LDA、QDA 与 KNN

核心公式

$$\Pr(Y=k\mid X=x)=\frac{\pi_kf_k(x)}{\sum_{l=1}^K\pi_lf_l(x)},\qquad f_k(x)=\frac{1}{\sqrt{2\pi}\sigma_k}\exp\Big(-\frac{(x-\mu_k)^2}{2\sigma_k^2}\Big)$$

• LDA：各类方差相同 $\sigma_1^2=\dots=\sigma_K^2=\sigma^2$，判别函数 $\delta_k(x)=x\dfrac{\mu_k}{\sigma^2}-\dfrac{\mu_k^2}{2\sigma^2}+\log\pi_k$，对 $x$ 线性。
• QDA：各类方差不同，判别函数含 $x^2$，边界是二次的。
• LDA bias 高、variance 低；QDA bias 低、variance 高。数据少时偏向 LDA，数据多或边界非线性时偏向 QDA。
• KNN：$K$ 小 → 边界灵活（低 bias、高 variance）；$K$ 大 → 边界接近线性。

Exam Q3 LDA 还是 QDA？

(a) 如果 Bayes 决策边界是线性的，LDA 和 QDA 哪个在训练集上表现更好？测试集呢？ (b) 如果边界是非线性的呢？ (c) 一般来说，随着样本量 $n$ 增加，QDA 相对 LDA 的测试准确率会提高、下降还是不变？为什么？ (d) 判断对错：即使 Bayes 边界是线性的，用 QDA 也能得到更低的测试错误率，因为 QDA 足够灵活，可以拟合线性边界。

查看答案

(a) 训练集：QDA 更好（更灵活，能拟合噪声）。测试集：LDA 更好（QDA 多出来的参数只带来过拟合）。

(b) 训练集和测试集都是 QDA 更好。

(c) 提高。$n$ 越大，QDA 估计更多参数带来的 variance 越小，它低 bias 的优势就显现出来。

(d) 错。边界是线性时，QDA 的额外灵活性不会降低 bias，只会增加 variance（样本少时尤其明显），测试错误率通常比 LDA 更高。

Exam Q6 用 Bayes 公式预测是否分红

用去年利润百分比 $X$ 预测公司今年是否分红。分红公司 $\bar X=10$，不分红公司 $\bar X=0$，两组方差都是 $\hat\sigma^2=36$，80% 的公司分红。假设 $X$ 服从正态分布，预测去年利润 $X=4$ 的公司今年分红的概率。

查看答案

$\pi_{yes}=0.8$，$\pi_{no}=0.2$，$\mu_{yes}=10$，$\mu_{no}=0$，$\sigma^2=36$。正态密度里的 $\frac{1}{\sqrt{2\pi}\sigma}$ 两类相同，可以约掉：

$$\Pr(\text{yes}\mid X=4)=\frac{0.8\,e^{-(4-10)^2/72}}{0.8\,e^{-(4-10)^2/72}+0.2\,e^{-(4-0)^2/72}}=\frac{0.8(0.6065)}{0.8(0.6065)+0.2(0.8007)}=\frac{0.4852}{0.6453}=0.752$$

HW3 Q1 证明 QDA（p = 1）的 Bayes 分类器是二次的

$X\mid Y=k\sim N(\mu_k,\sigma_k^2)$，各类方差不同。证明 Bayes 分类器是 $x$ 的二次函数。

查看答案

Bayes 分类器选使 $\pi_kf_k(x)$ 最大的 $k$（分母对所有类相同）。取对数：

$$\log\big(\pi_kf_k(x)\big)=\log\pi_k-\log\sigma_k-\tfrac12\log(2\pi)-\frac{(x-\mu_k)^2}{2\sigma_k^2}$$

去掉与 $k$ 无关的 $-\frac12\log(2\pi)$，展开平方：

$$\delta_k(x)=-\frac{x^2}{2\sigma_k^2}+\frac{\mu_kx}{\sigma_k^2}-\frac{\mu_k^2}{2\sigma_k^2}-\log\sigma_k+\log\pi_k$$

因为 $\sigma_k$ 随类别变化，$x^2$ 项的系数 $-\frac{1}{2\sigma_k^2}$ 在比较不同类时不会抵消，所以 $\delta_k(x)$ 和决策边界 $\delta_k(x)=\delta_l(x)$ 都是 $x$ 的 二次 函数。若 $\sigma_k=\sigma$ 相同，$x^2$ 项抵消，就退化成 LDA 的线性形式。

Lecture 06 p.11 LDA 一维例子

$\mu_1=-1.5$，$\mu_2=1.5$，$\pi_1=\pi_2=0.5$，$\sigma^2=1$，Bayes 决策边界在哪里？

查看答案

令 $\delta_1(x)=\delta_2(x)$，$\pi$ 相等时边界为 $x=\dfrac{\mu_1+\mu_2}{2}=0$：$x<0$ 归为第 1 类，否则归为第 2 类。用训练数据估计时，边界就是两类样本均值的中点。

HW1 Q5 KNN 手算

6 个训练观测：

Obs	$X_1$	$X_2$	$X_3$	Y
1	0	3	0	Red
2	2	0	0	Red
3	0	1	3	Red
4	0	1	2	Green
5	−1	0	1	Green
6	1	1	1	Red

在 $X_1=X_2=X_3=0$ 处预测 Y。(a) 欧氏距离；(b) $K=1$ 和 $K=3$ 的预测；(c) 如果 Bayes 决策边界高度非线性，$K$ 应该取大还是小？

查看答案

(a) 距离：Obs1 = 3，Obs2 = 2，Obs3 = $\sqrt{10}$ = 3.16，Obs4 = $\sqrt5$ = 2.24，Obs5 = $\sqrt2$ = 1.41，Obs6 = $\sqrt3$ = 1.73。

(b) $K=1$：最近的是 Obs5（Green）→ Green。$K=3$：Obs5（Green）、Obs6（Red）、Obs2（Red）→ Red（2/3）。

(c) 取 小 的 $K$。小 $K$ 边界灵活，能贴合非线性边界；大 $K$ 边界趋于线性。