一般的统计模型形式:y=f(x)+ϵy=f(x)+\epsilon,其中:

  • xx为数据/自变量,yy为预测/因变量,ϵ\epsilon为误差/噪声。

线性模型就是对这一模型的理想化近似:f(x)=β0+x1β1+⋯+xpβpf(x)=\beta_0+x_1\beta_1+\cdots+x_p\beta_p,其中pp为数据的维度。同时假设误差服从(多元)正态分布N(0,Σ)N(0,\Sigma)。

前置知识(矩阵代数与随机向量)

这里主要是对高等代数(矩阵论)以及概率论(期望、方差、矩母函数等)的回顾。一些概念可能会与概率论 Cheat Sheet以及CS127系列笔记有部分重复,但笔者还是决定再记一遍毕竟有些概念确实容易忘记

矩阵论

  1. 矩阵的迹与特征值

    tr(A+B)=tr(A)+tr(B)tr(AB)=tr(BA)\begin{aligned} \text{tr}(A+B)&=\text{tr}(A)+\text{tr}(B)\\ \text{tr}(AB)&=\text{tr}(BA) \end{aligned}
    • 设A∈Rm×n,B∈Rn×mA\in\R^{m\times n},B\in\R^{n\times m},则ABAB的非零特征值与BABA相同(考虑代数重数)。【证明提示:ABx=λx⟹BA(Bx)=λ(Bx)ABx=\lambda x\Longrightarrow BA(Bx)=\lambda(Bx)】
      • 特别地,当AA与BB均为方阵时,ABAB与BABA的特征值完全相同。【若ABAB有零特征值,则∣AB∣=0=∣BA∣|AB|=0=|BA|】
    • 若AA为nn阶方阵,且有nn个特征值λ1,⋯ ,λn\lambda_1,\cdots,\lambda_n,那么有 tr(A)=∑i=1nλi,∣A∣=∏i=1nλi.\text{tr}(A)=\sum_{i=1}^n\lambda_i,\quad |A|=\prod_{i=1}^n\lambda_i.
  2. 对称矩阵(用于考察协方差矩阵)
    设AA为nn阶实对称矩阵,那么其有以下性质:

    1. AA的所有特征值均为实数,对应的特征向量也由实数构成;
    2. 矩阵任意两个不同特征值对应的特征向量相互正交;
    3. AA一定有nn个特征值(记作λ1,⋯ ,λn\lambda_1,\cdots,\lambda_n),且对应的nn个特征向量可以标准正交对角化;
    4. AA可以进行下述分解(也称为谱分解): A=P(λ1⋱λn)P⊤≜PΛP⊤A=P\begin{pmatrix}\lambda_1&&\\&\ddots&\\&&\lambda_n\end{pmatrix}P^\top\triangleq P\Lambda P^\top 其中PP为标准正交矩阵。
    5. 对任意正整数ss,有 A=P(λ1s⋱λns)P⊤≜PΛsP⊤⟹tr(As)=∑i=1nλisA=P\begin{pmatrix}\lambda_1^s&&\\&\ddots&\\&&\lambda_n^s\end{pmatrix}P^\top\triangleq P\Lambda^s P^\top\Longrightarrow \text{tr}(A^s)=\sum_{i=1}^n\lambda_i^s
    6. 若AA满秩,则A−1A^{-1}的特征值为λ1−1,⋯ ,λn−1\lambda_1^{-1},\cdots,\lambda_n^{-1};
    7. In+cAI_n+cA的特征值为1+cλ1,⋯ ,1+cλn1+c\lambda_1,\cdots,1+c\lambda_n;
    8. 若AA为半正定矩阵(p.s.d.),则其所有特征值均非负,因此tr(A)≥0\text{tr}(A)\geq 0。
    9. Rayleigh商性质: max⁡x⊤x≠0x⊤Axx⊤x=λmax⁡(A),min⁡x⊤x≠0x⊤Axx⊤x=λmin⁡(A)\max_{\boldsymbol{x}^\top\boldsymbol{x}\neq 0}\frac{\boldsymbol{x}^\top A\boldsymbol{x}}{\boldsymbol{x}^\top\boldsymbol{x}}=\lambda_{\max}(A),\quad \min_{\boldsymbol{x}^\top\boldsymbol{x}\neq 0}\frac{\boldsymbol{x}^\top A\boldsymbol{x}}{\boldsymbol{x}^\top\boldsymbol{x}}=\lambda_{\min}(A)
  3. 半正定矩阵
    定义矩阵的Löwner序:A⪰B⟺A−BA\succeq B\Longleftrightarrow A-B为半正定矩阵⟺x⊤Ax≥x⊤Bx,∀x∈Rn\Longleftrightarrow \boldsymbol{x}^\top A\boldsymbol{x}\geq\boldsymbol{x}^\top B\boldsymbol{x},\forall\boldsymbol{x}\in\R^n

    • 特别地,若A,BA,B均为正定矩阵,则有A⪰B⟺A−1⪯B−1A\succeq B\Longleftrightarrow A^{-1}\preceq B^{-1}。【当然也可以推广到BB为半正定矩阵的情形,此时AB−A⪯AAB^-A\preceq A】
  4. 矩阵列空间
    设矩阵XX的列空间为M(X)\mathcal{M}(X),则有M(X⊤)=M(X⊤X)\mathcal{M}(X^\top)=\mathcal{M}(X^\top X)(相应地,有M(X)=M(XX⊤)\mathcal{M}(X)=\mathcal{M}(XX^\top))

  5. 奇异值分解(SVD)
    奇异值定义:设X∈Rn×pX\in\R^{n\times p}的秩为rr,X⊤XX^\top X的正特征值为λ1≥⋯≥λr>0\lambda_1\geq\cdots\geq\lambda_r>0,则XX的奇异值为λ1,⋯ ,λr\sqrt{\lambda_1},\cdots,\sqrt{\lambda_r}

    • 对上述矩阵XX,一定存在标准正交矩阵P∈Rp×pP\in\R^{p\times p}和Q∈Rn×nQ\in\R^{n\times n}使得 X=Q(Λ12000)P⊤≜Q1Λr12P1⊤X=Q\begin{pmatrix}\Lambda^{\frac12}&\boldsymbol{0}\\\boldsymbol{0}&\boldsymbol{0}\end{pmatrix}P^\top\triangleq Q_1\Lambda_r^{\frac12}P_1^\top 其中Q1Q_1和P1P_1分别是由XX⊤XX^\top和X⊤XX^\top X的非零特征值对应的特征向量构成的矩阵。
  6. 幂等矩阵与投影矩阵

    • 幂等矩阵定义:A2=AA^2=A,其主要性质为:特征值只有00和11。
    • (正交)投影定义:设Ω\Omega为Rn\R^n的一个线性子空间,y∈Rn\boldsymbol{y}\in\R^n,则如果对于u∈Ω\boldsymbol{u}\in\Omega有y−u⊥Ω\boldsymbol{y}-\boldsymbol{u}\perp\Omega,则称u\boldsymbol{u}为y\boldsymbol{y}在Ω\Omega上的正交投影,记作u=projΩ(y)\boldsymbol{u}=\text{proj}_\Omega(\boldsymbol{y})。
    • 正交投影(矩阵)具有如下性质:
      1. 正交投影具有唯一性(设Ω=M(X)\Omega=\mathcal{M}(X),则可用矩阵X(X⊤X)−1X⊤X(X^\top X)^{-1}X^\top表示这一变换)
      2. proj(y)=arg min⁡α∈Ω∥y−α∥2=arg min⁡Xβ∈Ω=M(X)∥y−Xβ∥2.\text{proj}(\boldsymbol{y}) = \argmin_{\alpha \in \Omega} \|\boldsymbol{y} - \alpha\|^2 = \argmin_{X\boldsymbol{\beta} \in \Omega = \mathcal{M}(X)} \|\boldsymbol{y} - X\boldsymbol{\beta}\|^2.
      3. ϕ:Rn→Ω⊆Rn\phi:\R^n\to\Omega\subseteq\R^n为正交投影⟺\Longleftrightarrow存在幂等矩阵P∈Rn×nP\in\R^{n\times n},Ω=M(P)\Omega=\mathcal{M}(P)使得ϕ(y)=Py,∀y∈Rn\phi(\boldsymbol{y})=P\boldsymbol{y},\forall \boldsymbol{y}\in\R^n【投影矩阵⇔\Leftrightarrow实对称幂等矩阵】
      4. 当PP为Rn\R^n到Ω\Omega的投影矩阵时,In−PI_n-P为Rn\R^n到Ω⊥\Omega^\perp的投影矩阵。
      5. 对于投影矩阵P1,P2P_1,P_2,下列表述等价:
        • P1⪰P2P_1\succeq P_2;
        • P1P2=P2P1=P2P_1P_2=P_2P_1=P_2;
        • P1−P2P_1-P_2为投影矩阵;
        • M(P2)⊆M(P1)\mathcal{M}(P_2)\subseteq\mathcal{M}(P_1)。
  7. 向量微分与广义逆
    定义β=(β1,β2,⋯ ,βn)⊤\beta=\begin{pmatrix}\beta_1,\beta_2,\cdots,\beta_n\end{pmatrix}^\top,则∂∂β=(∂∂β1,∂∂β2,⋯ ,∂∂βn)⊤\dfrac{\partial}{\partial\beta}=\begin{pmatrix}\dfrac{\partial}{\partial\beta_1},\dfrac{\partial}{\partial\beta_2},\cdots,\dfrac{\partial}{\partial\beta_n}\end{pmatrix}^\top,由此可定义如下微分:

    • 当y=f(x):Rn→Ry=f(\boldsymbol{x}):\R^n\to\R,则∂f∂x=(∂f∂x1,∂f∂x2,⋯ ,∂f∂xn)⊤\dfrac{\partial f}{\partial x}=\begin{pmatrix}\dfrac{\partial f}{\partial x_1},\dfrac{\partial f}{\partial x_2},\cdots,\dfrac{\partial f}{\partial x_n}\end{pmatrix}^\top;
    • 当y=f(x):Rn→Rm\boldsymbol{y}=f(\boldsymbol{x}):\R^n\to\R^m,则∂f⊤∂x=(∂f1∂x,∂f2∂x,⋯ ,∂fm∂x)\dfrac{\partial f^\top}{\partial \boldsymbol{x}}=\begin{pmatrix}\dfrac{\partial f_1}{\partial\boldsymbol{x}},\dfrac{\partial f_2}{\partial\boldsymbol{x}},\cdots,\dfrac{\partial f_m}{\partial \boldsymbol{x}}\end{pmatrix}【结果为n×mn\times m矩阵】,∂f∂x⊤=(∂f⊤∂x)⊤\dfrac{\partial f}{\partial \boldsymbol{x}^\top}=\left(\dfrac{\partial f^\top}{\partial \boldsymbol{x}}\right)^\top。

    实例:

    • 对任意向量a∈Rn\boldsymbol{a}\in\R^n,∂β⊤a∂β=a\dfrac{\partial\beta^\top\boldsymbol{a}}{\partial\beta}=\boldsymbol{a},而对任意列数为nn的矩阵AA,∂β⊤A∂β=A\dfrac{\partial\beta^\top A}{\partial\beta}=A。
    • 对于任意方阵AA,∂(β⊤Aβ)∂β=(A+A⊤)β\dfrac{\partial(\beta^\top A \beta)}{\partial\beta} = (A+A^\top)\beta。特别地,当AA为对称矩阵时,∂(β⊤Aβ)∂β=2Aβ\dfrac{\partial(\beta^\top A \beta)}{\partial\beta} = 2A\beta。

    矩阵的广义逆定义:A−A^-满足AA−A=AAA^-A=A。

    • 例:当A=(A11000)A=\begin{pmatrix}A_{11}&\boldsymbol{0}\\\boldsymbol{0}&\boldsymbol{0}\end{pmatrix}时,A−=(A11BCD)A^-=\begin{pmatrix}A_{11}&B\\C&D\end{pmatrix},其中B,C,DB,C,D为任意矩阵。

随机向量

符号约定:随机向量X=(X1,X2,⋯ ,Xn)⊤\boldsymbol{X}=(X_1,X_2,\cdots,X_n)^\top,随机矩阵X=(X11X12⋯X1nX21X22⋯X2n⋮⋮⋱⋮Xn1Xn2⋯Xnn)\boldsymbol{X}=\begin{pmatrix}X_{11}&X_{12}&\cdots&X_{1n}\\X_{21}&X_{22}&\cdots&X_{2n}\\\vdots&\vdots&\ddots&\vdots\\X_{n1}&X_{n2}&\cdots&X_{nn}\end{pmatrix}

  1. 期望(矩阵)
    记Z=(Zij)m×n\boldsymbol{Z}=(Z_{ij})_{m\times n},定义期望矩阵EZ=(EZij)m×n\mathbb{E}\boldsymbol{Z}=(\mathbb{E}Z_{ij})_{m\times n}

    • 给定矩阵A,B,CA,B,C,有E(AZB+C)=AE(Z)B+C\mathbb{E}(A\boldsymbol{Z}B+C)=A\mathbb{E}(\boldsymbol{Z})B+C
  2. (协)方差矩阵
    设X\boldsymbol{X}和Y\boldsymbol{Y}分别为mm维与nn维随机向量,则协方差矩阵定义为Cov(X,Y)=(Cov(Xi,Yj))m×n\mathrm{Cov}(\boldsymbol{X},\boldsymbol{Y})=(\mathrm{Cov}(X_i,Y_j))_{m\times n}

    • 特别地,若Y=X\boldsymbol{Y}=\boldsymbol{X},定义Var(X)=Cov(X)=Cov(X,X)\mathrm{Var}(\boldsymbol{X})=\mathrm{Cov}(\boldsymbol{X})=\mathrm{Cov}(\boldsymbol{X},\boldsymbol{X})
    • 若X\boldsymbol{X}的均值向量为μ\boldsymbol{\mu},协方差矩阵为Σ\Sigma,那么可以写作X∼(μ,Σ)\boldsymbol{X}\sim(\boldsymbol{\mu},\Sigma)

    协方差矩阵具有下述性质:

    1. Cov(X,Y)=E[(X−EX)(Y−EY)⊤]=E(XY⊤)−EXEY⊤\text{Cov}(\boldsymbol{X}, \boldsymbol{Y}) = \mathbb{E}[(\boldsymbol{X} - \mathbb{E}\boldsymbol{X})(\boldsymbol{Y} - \mathbb{E}\boldsymbol{Y})^\top] = \mathbb{E}(\boldsymbol{X}\boldsymbol{Y}^\top) - \mathbb{E}\boldsymbol{X}\mathbb{E}\boldsymbol{Y}^\top;
      • Cov(X,Y)=Cov(Y,X)⊤\text{Cov}(\boldsymbol{X}, \boldsymbol{Y}) = \text{Cov}(\boldsymbol{Y}, \boldsymbol{X})^\top;【注意转置】
      • Var(X)=E[(X−EX)(X−EX)⊤]=E(XX⊤)−EXEX⊤\text{Var}(\boldsymbol{X}) = \mathbb{E}[(\boldsymbol{X} - \mathbb{E}\boldsymbol{X})(\boldsymbol{X} - \mathbb{E}\boldsymbol{X})^\top] = \mathbb{E}(\boldsymbol{X}\boldsymbol{X}^\top) - \mathbb{E}\boldsymbol{X}\mathbb{E}\boldsymbol{X}^\top。
    2. Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z)\text{Cov}(\boldsymbol{X}, \boldsymbol{Y} + \boldsymbol{Z}) = \text{Cov}(\boldsymbol{X}, \boldsymbol{Y}) + \text{Cov}(\boldsymbol{X}, \boldsymbol{Z});
      • 推论:Cov(X+Y)=Cov(X)+Cov(Y)+Cov(X,Y)+Cov(Y,X)\text{Cov}(\boldsymbol{X} + \boldsymbol{Y}) = \text{Cov}(\boldsymbol{X}) + \text{Cov}(\boldsymbol{Y}) + \text{Cov}(\boldsymbol{X}, \boldsymbol{Y}) + \text{Cov}(\boldsymbol{Y}, \boldsymbol{X})。
    3. 对于任意常数向量 c\boldsymbol{c},有 Cov(X+c)=Cov(X)\text{Cov}(\boldsymbol{X} + \boldsymbol{c}) = \text{Cov}(\boldsymbol{X});
    4. Cov(AX,BY)=ACov(X,Y)B⊤\text{Cov}(\boldsymbol{A}\boldsymbol{X}, \boldsymbol{B}\boldsymbol{Y}) = \boldsymbol{A}\text{Cov}(\boldsymbol{X}, \boldsymbol{Y})\boldsymbol{B}^\top;
    5. Cov(X)≥0\text{Cov}(\boldsymbol{X}) \geq 0。【半正定性】
  3. (非)奇异(退化)随机向量
    若随机向量X\boldsymbol{X}的协方差矩阵是(非)奇异矩阵,那么就称X\boldsymbol{X}是(非)奇异的。

    • 实际上,协方差矩阵非奇异等价于协方差矩阵正定。
    • X\boldsymbol{X}非奇异⟺\Longleftrightarrow不存在常数向量a≠0\boldsymbol{a}\neq\boldsymbol{0}和b\boldsymbol{b}使得a⊤X=ba.s.\boldsymbol{a}^\top\boldsymbol{X}=\boldsymbol{b}\quad\text{a.s.};【证明提示:a⊤Σa=Var(a⊤X)=E[(a⊤(X−μ))2]\boldsymbol{a}^\top\Sigma\boldsymbol{a}=\mathrm{Var}(\boldsymbol{a}^\top\boldsymbol{X})=\mathbb{E}[(\boldsymbol{a}^\top(\boldsymbol{X}-\boldsymbol{\mu}))^2]】
    • 若X\boldsymbol{X}的均值向量为0\boldsymbol{0},则X∈M(Σ)a.s.\boldsymbol{X}\in\mathcal{M}(\Sigma)\quad\text{a.s.}。【证明提示:对于对称矩阵,M(Σ)=N(Σ)⊥\mathcal{M}(\Sigma)=\mathcal{N}(\Sigma)^\perp,N(⋅)\mathcal{N}(\cdot)表示零空间;零空间中的任意向量与X\boldsymbol{X}正交a.s.\quad\text{a.s.}】
      • 当然,若X\boldsymbol{X}的均值向量为μ≠0\boldsymbol{\mu}\neq\boldsymbol{0},则X−μ∈M(Σ)a.s.\boldsymbol{X}-\boldsymbol{\mu}\in\mathcal{M}(\Sigma)\quad\text{a.s.}
      • 另一方面,由此可以得到推论:X⊤Σ−X\boldsymbol{X}^\top\Sigma^{-}\boldsymbol{X}是良定义的(广义逆的选择不影响结果)。
    • 对上面的推论,我们还可以推广到分块协方差矩阵上:记Cov(XY)=(ΣXXΣXYΣYXΣYY)\mathrm{Cov}\begin{pmatrix}\boldsymbol{X}\\\boldsymbol{Y}\end{pmatrix}=\begin{pmatrix}\Sigma_{\boldsymbol{XX}}&\Sigma_{\boldsymbol{XY}}\\\Sigma_{\boldsymbol{YX}}&\Sigma_{\boldsymbol{YY}}\end{pmatrix},则ΣYXΣXX−ΣXX(=ΣYX)\Sigma_{\boldsymbol{YX}}\Sigma_{\boldsymbol{XX}}^-\Sigma_{\boldsymbol{XX}}(=\Sigma_{\boldsymbol{YX}})与ΣYXΣXX−(X−E(X))\Sigma_{\boldsymbol{YX}}\Sigma_{\boldsymbol{XX}}^-(\boldsymbol{X}-\mathbb{E}(\boldsymbol{X}))的结果与广义逆的选择无关。
      • 证明提示:X−EX∈M(ΣXX)⟹∀a∈N(ΣXX),a⊤X\boldsymbol{X}-\mathbb{E}\boldsymbol{X}\in\mathcal{M}(\Sigma_{\boldsymbol{XX}})\Longrightarrow \forall\boldsymbol{a}\in\mathcal{N}(\Sigma_{\boldsymbol{XX}}),\boldsymbol{a}^\top\boldsymbol{X}为常数a.s.⟹ΣYXa=0,N(ΣYX)⊆N(ΣXX)⟹ΣYX(I−ΣXX−ΣXX)=0\quad\text{a.s.}\Longrightarrow\Sigma_{\boldsymbol{YX}}\boldsymbol{a}=0,\mathcal{N}(\Sigma_{\boldsymbol{YX}})\subseteq\mathcal{N}(\Sigma_{\boldsymbol{XX}})\Longrightarrow \Sigma_{\boldsymbol{YX}}(\boldsymbol{I}-\Sigma_{\boldsymbol{XX}}^-\Sigma_{\boldsymbol{XX}})=0
  4. 随机向量投影(逐渐接入线性回归)
    对于任意随机向量 Xm×1\boldsymbol{X}_{m \times 1} 和 Yn×1\boldsymbol{Y}_{n \times 1},定义最小化问题

    min⁡Z=MX+b:M∈Rn×m,b∈RnE[(Y−Z)(Y−Z)⊤]\min_{\boldsymbol{Z}=\boldsymbol{M}\boldsymbol{X}+\boldsymbol{b}: \boldsymbol{M} \in \mathbb{R}^{n \times m}, \boldsymbol{b} \in \mathbb{R}^n} \mathbb{E} \left[ (\boldsymbol{Y} - \boldsymbol{Z})(\boldsymbol{Y} - \boldsymbol{Z})^\top \right]

    在Löwner序下的解Y^\hat{\boldsymbol{Y}}为Y\boldsymbol{Y}在X\boldsymbol{X}上的线性投影,记作projX(Y)\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})。

    • 实际上,这里的线性投影可以表示为 projX(Y)=EY+Cov(Y,X)[Cov(X)]−(X−EX)=μY+ΣYXΣXX−(X−μX)\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})=\mathbb{E}\boldsymbol{Y}+\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{X})[\mathrm{Cov}(\boldsymbol{X})]^-(\boldsymbol{X}-\mathbb{E}\boldsymbol{X})=\boldsymbol{\mu}_{\boldsymbol{Y}}+\Sigma_{\boldsymbol{YX}}\Sigma_{\boldsymbol{XX}}^-(\boldsymbol{X}-\boldsymbol{\mu}_{\boldsymbol{X}}) 其中ΣYX=Cov(Y,X),ΣXX=Cov(X)\Sigma_{\boldsymbol{YX}}=\mathrm{Cov}(\boldsymbol{Y},\boldsymbol{X}),\Sigma_{\boldsymbol{XX}}=\mathrm{Cov}(\boldsymbol{X})。由此得到最优系数 M∗=ΣYXΣXX−,b∗=μY−ΣYXΣXX−μX\boldsymbol{M}^*=\Sigma_{\boldsymbol{YX}}\Sigma_{\boldsymbol{XX}}^-,\quad \boldsymbol{b}^*=\boldsymbol{\mu}_{\boldsymbol{Y}}-\Sigma_{\boldsymbol{YX}}\Sigma_{\boldsymbol{XX}}^-\boldsymbol{\mu}_{\boldsymbol{X}}

      当(X,Y)(\boldsymbol{X},\boldsymbol{Y})服从联合正态分布时,projX(Y)\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})就对应E(Y∣X)\mathbb{E}(\boldsymbol{Y}\mid\boldsymbol{X})。

    • 特别地,当X\boldsymbol{X}退化为定值时,projX(Y)\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})即为Y\boldsymbol{Y}的均值。
    • 当projX(Y)=M∗X+b∗\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})=\boldsymbol{M}^*\boldsymbol{X}+\boldsymbol{b}^*时,projX(a⊤Y)=a⊤M∗X+a⊤b∗=a⊤projX(Y)\text{proj}_{\boldsymbol{X}}(\boldsymbol{a}^\top\boldsymbol{Y})=\boldsymbol{a}^\top \boldsymbol{M}^*\boldsymbol{X}+\boldsymbol{a}^\top\boldsymbol{b}^*=\boldsymbol{a}^\top\text{proj}_{\boldsymbol{X}}(\boldsymbol{Y})
    • Y^\hat{\boldsymbol{Y}}满足的性质:E(Y−Y^)=0,E(X⊤(Y−Y^))=0\mathbb{E}(\boldsymbol{Y}-\hat{\boldsymbol{Y}})=0,\mathbb{E}(\boldsymbol{X}^\top(\boldsymbol{Y}-\hat{\boldsymbol{Y}}))=0
  5. 随机向量二次型

    • 设EX=μ,Cov(X)=Σ\mathbb{E}\boldsymbol{X}=\boldsymbol{\mu},\mathrm{Cov}(\boldsymbol{X})=\Sigma,则
    E(X⊤AX)=tr⁡(AΣ)+μ⊤AμE[(X−b)⊤A(X−b)]=tr⁡(AΣ)+(μ−b)⊤A(μ−b)\begin{aligned} \mathbb{E}(\boldsymbol{X}^\top \boldsymbol{A}\boldsymbol{X}) &= \operatorname{tr}(\boldsymbol{A}\Sigma) + \boldsymbol{\mu}^\top \boldsymbol{A}\boldsymbol{\mu}\\ \mathbb{E}[(\boldsymbol{X} - \boldsymbol{b})^\top \boldsymbol{A}(\boldsymbol{X} - \boldsymbol{b})] &= \operatorname{tr}(\boldsymbol{A}\Sigma) + (\boldsymbol{\mu} - \boldsymbol{b})^\top \boldsymbol{A}(\boldsymbol{\mu} - \boldsymbol{b}) \end{aligned}

    特别地,若Σ=σ2I\Sigma=\sigma^2\boldsymbol{I}(X\boldsymbol{X}各分量不相关且等方差),则E(X⊤AX)=σ2tr(A)+μ⊤Aμ\mathbb{E}(\boldsymbol{X}^\top \boldsymbol{A}\boldsymbol{X})=\sigma^2\text{tr}(\boldsymbol{A})+\boldsymbol{\mu}^\top \boldsymbol{A}\boldsymbol{\mu}。

    当A=I\boldsymbol{A}=\boldsymbol{I}时,就是二阶矩计算公式。

    • 设X∼(μ,σ2In)\boldsymbol{X} \sim (\boldsymbol{\mu}, \sigma^2\boldsymbol{I}_n),其各分量相互独立,且对于k=3,4k = 3, 4以及每个i=1,2,…,ni = 1, 2, \dots, n,有E(Xi−μi)k=νk\mathbb{E}(X_i - \mu_i)^k = \nu_k。如果A\boldsymbol{A}是任意n×nn \times n对称矩阵,且a≔(a11,a22,…,ann)⊤\boldsymbol{a} \coloneqq (a_{11}, a_{22}, \dots, a_{nn})^\top(A\boldsymbol{A}对角线元素向量),那么 Var⁡(X⊤AX)=(ν4−3σ4)a⊤a+2σ4tr⁡(A2)+4σ2μ⊤A2μ+4ν3μ⊤Aa.\operatorname{Var}(\boldsymbol{X}^\top \boldsymbol{A}\boldsymbol{X}) = (\nu_4 - 3\sigma^4)\boldsymbol{a}^\top \boldsymbol{a} + 2\sigma^4\operatorname{tr}(\boldsymbol{A}^2) + 4\sigma^2\boldsymbol{\mu}^\top \boldsymbol{A}^2\boldsymbol{\mu} + 4\nu_3\boldsymbol{\mu}^\top \boldsymbol{A}\boldsymbol{a}.

矩母函数

  • 随机向量X\boldsymbol{X}的矩母函数定义(默认存在):MX(t)=E(exp⁡{t⊤X})M_{\boldsymbol{X}}(\boldsymbol{t})=\mathbb{E}\left(\exp\{\boldsymbol{t}^\top\boldsymbol{X}\}\right)。
    • 矩母函数也称为矩生成函数,其名称来源于函数可以生成随机向量的任意阶矩。具体而言,对于一维随机变量: MX(t)=∑n=0∞tnn!E(Xn)⟹MX(n)(0)=E(Xn)M_X(t) = \sum_{n=0}^\infty \frac{t^n}{n!} \mathbb{E}(X^n)\Longrightarrow M_X^{(n)}(0) = \mathbb{E}(X^n) 而对于kk维随机向量X\boldsymbol{X}: MX(t)=∑n1=0∞⋯∑nk=0∞t1n1…tknkn1!…nk!E(X1n1…Xknk)⟹∂n1+n2+⋯+nkMX(0)∂t1n1∂t2n2…∂tknk=E(X1n1X2n2…Xknk)M_{\boldsymbol{X}}(\boldsymbol{t}) = \sum_{n_1=0}^\infty \dots \sum_{n_k=0}^\infty \frac{t_1^{n_1} \dots t_k^{n_k}}{n_1! \dots n_k!} \mathbb{E}(X_1^{n_1} \dots X_k^{n_k})\Longrightarrow\frac{\partial^{n_1 + n_2 + \dots + n_k} M_{\boldsymbol{X}}(\boldsymbol{0})}{\partial t_1^{n_1} \partial t_2^{n_2} \dots \partial t_k^{n_k}} = \mathbb{E}(X_1^{n_1} X_2^{n_2} \dots X_k^{n_k})
    • 常见分布矩母函数:
      1. 一元标准正态分布N(0,1)N(0,1):MX(t)=exp⁡{t22}M_X(t)=\exp\{\frac{t^2}{2}\};
      2. 卡方分布χr2\chi_r^2:MX(t)=(1−2t)−r2,t=[0,12)M_X(t)=(1-2t)^{-\frac{r}{2}},\quad t=[0,\frac12);
      3. 多元正态分布Nk(μ,Σ)N_k(\boldsymbol{\mu},\Sigma):MX(t)=exp⁡{t⊤μ+12t⊤Σt}M_{\boldsymbol{X}}(\boldsymbol{t}) = \exp\left\{ \boldsymbol{t}^\top \boldsymbol{\mu} + \frac{1}{2} \boldsymbol{t}^\top \Sigma \boldsymbol{t} \right\}。
  • 矩母函数的性质:
    1. 若在∥t∥<t0\|\boldsymbol{t}\|< t_0(t0>0t_0>0)范围内矩母函数MX(t)M_{\boldsymbol{X}}(\boldsymbol{t})存在,那么其有且仅有一个分布与之对应;
    2. 若M(X,Y)(t1,t2)M_{(\boldsymbol{X},\boldsymbol{Y})}(\boldsymbol{t}_1,\boldsymbol{t}_2)是(X,Y)(\boldsymbol{X},\boldsymbol{Y})的联合矩母函数,那么有MX(t)=M(X,Y)(t,0)M_{\boldsymbol{X}}(t)=M_{(\boldsymbol{X},\boldsymbol{Y})}(\boldsymbol{t},0);
    3. X\boldsymbol{X}与Y\boldsymbol{Y}相互独立(记作X⊥ ⁣ ⁣ ⁣⊥Y\boldsymbol{X}\perp\!\!\!\perp\boldsymbol{Y})⟺M(X,Y)(t1,t2)=MX(t1)MY(t2)\Longleftrightarrow M_{(\boldsymbol{X},\boldsymbol{Y})}(\boldsymbol{t}_1,\boldsymbol{t}_2)=M_{\boldsymbol{X}}(\boldsymbol{t}_1)M_{\boldsymbol{Y}}(\boldsymbol{t}_2)
      • 应用例:Q=Q1+Q2,Q∼χr2,Q1∼χr12,Q1⊥ ⁣ ⁣ ⁣⊥Q2Q=Q_1+Q_2,Q\sim\chi^2_r,Q_1\sim\chi^2_{r_1},Q_1\perp\!\!\!\perp Q_2,则Q2∼χr−r12Q_2\sim\chi^2_{r-r_1}。

多元正态分布

  • 首先定义标准多元正态分布:设Z1,⋯ ,Zn∼i.i.d.N(0,1)Z_1,\cdots,Z_n\stackrel{i.i.d.}{\sim}N(0,1),则称Z=(Z1,⋯ ,Zn)⊤\boldsymbol{Z}=(Z_1,\cdots,Z_n)^\top服从nn维标准正态分布,记作Z∼Nn(0,In)\boldsymbol{Z}\sim N_n(0,\boldsymbol{I}_n)(或N(0,In)N(0,\boldsymbol{I}_n))
    • Z\boldsymbol{Z}的联合概率密度函数为 f(z)=(2π)−n2exp⁡{−12z⊤z},z∈Rnf(\boldsymbol{z})=(2\pi)^{-\frac{n}{2}} \exp \left\{ -\frac{1}{2}\boldsymbol{z}^\top\boldsymbol{z} \right\}, \quad\boldsymbol{z} \in \mathbb{R}^n 而Z\boldsymbol{Z}的矩母函数则为 MZ(t)=∏i=1nexp⁡{12ti2}=exp⁡{12t⊤t}.M_{\boldsymbol{Z}}(\boldsymbol{t}) = \prod_{i=1}^n \exp \left\{ \frac{1}{2}t_i^2 \right\} = \exp \left\{ \frac{1}{2}\boldsymbol{t}^\top\boldsymbol{t} \right\}.
  • 基于标准多元正态分布,定义一般的多元正态分布:设Z∼Nn(0,In)\boldsymbol{Z}\sim N_n(0,\boldsymbol{I}_n),若mm维随机向量Y\boldsymbol{Y}与AZ+μA\boldsymbol{Z}+\boldsymbol{\mu}同分布(A∈Rm×n,μ∈Rm×1A\in\R^{m\times n},\boldsymbol{\mu}\in\R^{m\times 1}),则称Y\boldsymbol{Y}服从mm维正态分布,记作Y∼Nn(μ,Σ)\boldsymbol{Y}\sim N_n(\boldsymbol{\mu},\Sigma),其中Σ=AA⊤∈Rm×m\Sigma=AA^\top\in\R^{m\times m}。
    • 由此可以发现,在定义中并没有对AA作任何限制,因此当AA非满秩(退化)时,得到的Y\boldsymbol{Y}分布也是退化的(甚至可以退化为常数向量)。而这种退化情形无法直接用密度函数形式进行刻画。
    • Y\boldsymbol{Y}具有下述性质:
      1. 期望与(协)方差:EY=μ,Var(Y)=Σ\mathbb{E}\boldsymbol{Y}=\boldsymbol{\mu},\quad \mathrm{Var}(\boldsymbol{Y})=\Sigma;
      2. 矩母函数与特征函数:MY(t)=exp⁡{12t⊤Σt+t⊤μ},ϕY(t)=exp⁡{−12t⊤Σt+it⊤μ}M_{\boldsymbol{Y}}(\boldsymbol{t}) = \exp\left\{ \frac{1}{2} \boldsymbol{t}^\top \Sigma \boldsymbol{t}+\boldsymbol{t}^\top \boldsymbol{\mu} \right\},\quad \phi_{\boldsymbol{Y}}(\boldsymbol{t}) = \exp\left\{- \frac{1}{2} \boldsymbol{t}^\top \Sigma \boldsymbol{t}+i\boldsymbol{t}^\top \boldsymbol{\mu} \right\};
      3. 线性变换:CY+d∼N(Cμ+d,C⊤ΣC)C\boldsymbol{Y}+\boldsymbol{d}\sim N(C\boldsymbol{\mu}+\boldsymbol{d},C^\top\Sigma C);
      4. 若Σ>0\Sigma>0,则Y\boldsymbol{Y}的概率密度函数为 f(y)=(2π)−m2∣Σ∣−12exp⁡{−12(y−μ)⊤Σ−1(y−μ)},y∈Rm,f(\boldsymbol{y}) = (2\pi)^{-\frac{m}{2}} |\Sigma|^{-\frac{1}{2}} \exp \left\{ -\frac{1}{2}(\boldsymbol{y} - \boldsymbol{\mu})^\top\Sigma^{-1}(\boldsymbol{y} - \boldsymbol{\mu}) \right\}, \boldsymbol{y} \in \mathbb{R}^m,
  • 分块性质:设Y=(Y1Y2)∼N(μ,Σ)\boldsymbol{Y}=\begin{pmatrix}\boldsymbol{Y}_1\\\boldsymbol{Y}_2\end{pmatrix}\sim N(\boldsymbol{\mu},\Sigma),μ=(μ1μ2)\boldsymbol{\mu}=\begin{pmatrix}\boldsymbol{\mu}_1\\\boldsymbol{\mu}_2\end{pmatrix}和Σ=(Σ11Σ12Σ21Σ22)\Sigma=\begin{pmatrix}\Sigma_{11}&\Sigma_{12}\\\Sigma_{21}&\Sigma_{22}\end{pmatrix}为向量/矩阵分块。则
    • 边际分布性质:

      1. Y1∼N(μ1,Σ11)\boldsymbol{Y}_1\sim N(\boldsymbol{\mu}_1,\Sigma_{11})且Y2∼N(μ2,Σ22)\boldsymbol{Y}_2\sim N(\boldsymbol{\mu}_2,\Sigma_{22}),
      2. Y1⊥ ⁣ ⁣ ⁣⊥Y2\boldsymbol{Y}_1\perp\!\!\!\perp\boldsymbol{Y}_2当且仅当Σ12=0\Sigma_{12}=\boldsymbol{0},即Y1⊥ ⁣ ⁣ ⁣⊥Y2  ⟺  Cov(Y1,Y2)=0\boldsymbol{Y}_1\perp\!\!\!\perp\boldsymbol{Y}_2\iff\text{Cov}(\boldsymbol{Y}_1,\boldsymbol{Y}_2)=\boldsymbol{0}。因此,如果Y∼N(μ,Σ)\boldsymbol{Y}\sim N(\boldsymbol{\mu},\Sigma),那么AY⊥ ⁣ ⁣ ⁣⊥BY⟺AΣB⊤=0A\boldsymbol{Y}\perp\!\!\!\perp B\boldsymbol{Y}\Longleftrightarrow A\Sigma B^\top=\boldsymbol{0}。
      • 应用例:设Y1,Y2,…,Yn∼iidN(μ,σ2)\boldsymbol{Y}_1, \boldsymbol{Y}_2, \dots, \boldsymbol{Y}_n \stackrel{iid}{\sim} N(\mu, \sigma^2)。则Y‾⊥ ⁣ ⁣ ⁣⊥S2=1n−1∑i(Yi−Y‾)2\overline{\boldsymbol{Y}} \perp\!\!\!\perp S^2 =\displaystyle \frac{1}{n-1} \sum_i (\boldsymbol{Y}_i - \overline{\boldsymbol{Y}})^2。
    • 条件分布性质:给定Y2\boldsymbol{Y}_2时,

      Y1∼N(μ1+Σ12Σ22−1(Y2−μ2),Σ11−Σ12Σ22−1Σ21)\boldsymbol{Y}_1\sim N\left(\boldsymbol{\mu}_1+\Sigma_{12}\Sigma_{22}^{-1}(\boldsymbol{Y}_2-\boldsymbol{\mu}_2),\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\right)

      这个定理在后续回归分析中有重要作用。

  • 若Y∼N(μ,Σ)\boldsymbol{Y} \sim N(\boldsymbol{\mu}, \Sigma),将Σ\Sigma特征分解为PΛrP⊤P\Lambda_r P^\top,则U=Λr−12P⊤(Y−μ)∼N(0,Ir)\boldsymbol{U} = \Lambda_r^{-\frac{1}{2}} P^\top(\boldsymbol{Y} - \boldsymbol{\mu}) \sim N(\boldsymbol{0}, \boldsymbol{I}_r)且Y=PΛr12U+μ a.s.\boldsymbol{Y} = P\Lambda_r^{\frac{1}{2}}\boldsymbol{U} + \boldsymbol{\mu}\ \text{a.s.}。
    • 这也说明上述基于标准多元正态分布的定义里实际上完全可以找到一个标准多元正态分布向量使其线性变换后就得到Y\boldsymbol{Y}。
  • 多元正态判定条件:Y∈Rm\boldsymbol{Y}\in\R^m服从多元正态分布当且仅当对任意非零常数向量a∈Rm\boldsymbol{a}\in\R^{m},a⊤Y\boldsymbol{a}^\top\boldsymbol{Y}服从一元正态分布。

多元正态分布的“回归”

由上述条件分布定理可得,E(Y1∣Y2=y2)=μ1+Σ12Σ22−1(Y2−μ2)\mathbb{E}(\boldsymbol{Y}_1|\boldsymbol{Y}_2=\boldsymbol{y}_2)=\boldsymbol{\mu}_1+\Sigma_{12}\Sigma_{22}^{-1}(\boldsymbol{Y}_2-\boldsymbol{\mu}_2),将其转化为

E(Y1∣Y2=y2)−μ1=Σ12Σ22−1(Y2−μ2)\mathbb{E}(\boldsymbol{Y}_1|\boldsymbol{Y}_2=\boldsymbol{y}_2)-\boldsymbol{\mu}_1=\Sigma_{12}\Sigma_{22}^{-1}(\boldsymbol{Y}_2-\boldsymbol{\mu}_2)

特别地,当Y1\boldsymbol{Y}_1和Y2\boldsymbol{Y}_2均为一元随机变量,则

E(Y1∣Y2)=μ1+σ12σ22Y2−μ2=μ1+σ1σ2ρ(Y2−μ2)=μ1−βμ2+βY2,\begin{aligned} \mathbb{E}(Y_1|Y_2) &= \mu_1 + \frac{\sigma_{12}}{\sigma_2^2} Y_2 - \mu_2 \\ &= \mu_1 + \frac{\sigma_1}{\sigma_2} \rho (Y_2 - \mu_2) \\ &= \mu_1 - \beta \mu_2 + \beta Y_2, \end{aligned}

这里σ1,σ2\sigma_1,\sigma_2为标准差,ρ\rho为相关系数。这一式子由统计学家高尔顿首次发现,同时其还发现下述规律:

  • Y2>μ2Y_2>\mu_2时,E(Y1∣Y2)\mathbb{E}(Y_1|Y_2)倾向于大于μ1\mu_1;【父亲身高高于父亲均值时,儿子身高预测也倾向高于儿子均值】
  • 观测值表明β∈(0,1)\beta\in(0,1),这说明Y1Y_1的变化幅度总体低于Y2Y_2【儿子群体身高变异整体低于父亲群体】。这也是高尔顿将这一现象命名为(均值)回归的原因。
    • 实际上,这一现象的本质很容易理解:因为σ1≤σ2\sigma_1\leq\sigma_2(在高尔顿的实验中假设σ1=σ2\sigma_1=\sigma_2),而相关系数∣ρ∣<1|\rho|< 1,因此自然得到∣β∣<1|\beta|< 1。而如今的回归分析已脱离了原本回归的本意,变成了一般线性模型的分析方法。

多元正态二次型分布

设Z∼N(μ,Im)\boldsymbol{Z} \sim N(\boldsymbol{\mu}, \boldsymbol{I}_m),由此我们可以定义以下重要分布(注意与数理统计中的中心分布区分):

  1. 非中心卡方分布:Z⊤Z∼χm2(δ2)\boldsymbol{Z}^\top\boldsymbol{Z} \sim \chi^2_m(\delta^2),称为自由度为mm的非中心卡方分布,其中δ2=μ⊤μ\delta^2 = \boldsymbol{\mu}^\top\boldsymbol{\mu}称为非中心参数。特别地,δ2=0\delta^2 = 0(即μ=0\boldsymbol{\mu} = \boldsymbol{0})时即为(中心)卡方分布,记作χm2\chi^2_m。
    • 矩母函数:Mχm2(δ2)(t)=(1−2t)−m2exp⁡{t1−2tδ2},t∈[0,1/2)\displaystyle M_{\chi^2_m(\delta^2)}(t) = (1 - 2t)^{-\frac{m}{2}} \exp \left\{ \frac{t}{1 - 2t} \delta^2 \right\}, t \in [0, 1/2) ;
    • 非中心卡方分布仍然满足可加性。
  2. 非中心t分布:如果u=dYZ/mu \overset{d}{=} \frac{\boldsymbol{Y}}{\sqrt{\boldsymbol{Z}/m}},则称随机变量uu具有自由度为mm的非中心学生t分布,记作u∼tm(μ)u \sim t_m(\mu),其中Y∼N(μ,1),Z∼χm2\boldsymbol{Y} \sim N(\mu, 1),\boldsymbol{Z} \sim \chi^2_m且相互独立,μ\mu称为非中心参数。
  3. 非中心F分布:如果u=dY/m1Z/m2u \overset{d}{=} \frac{\boldsymbol{Y}/m_1}{\boldsymbol{Z}/m_2},则称随机变量uu具有第一自由度为m1m_1和第二自由度为m2m_2的非中心F分布,记作u∼Fm1,m2(δ2)u \sim F_{m_1,m_2}(\delta^2),其中Y∼χm12(δ2),Z∼χm22\boldsymbol{Y} \sim \chi^2_{m_1}(\delta^2),\boldsymbol{Z} \sim \chi^2_{m_2}且相互独立,δ2\delta^2是非中心参数。
  • 设Y∼N(μ,In)\boldsymbol{Y} \sim N(\boldsymbol{\mu}, \boldsymbol{I}_n)且AA为对称矩阵,则Y⊤AY∼χr2(μ⊤Aμ)⟺A\boldsymbol{Y}^\top A\boldsymbol{Y}\sim \chi^2_r(\boldsymbol{\mu}^\top A\boldsymbol{\mu})\Longleftrightarrow A是秩为rr的幂等矩阵。
    • 应用例:
      1. 设X∼N(μ1n,σ2In),S2=1n−1∑i=1n(Xi−X‾)2\boldsymbol{X} \sim N(\mu\boldsymbol{1}_n, \sigma^2\boldsymbol{I}_n),\displaystyle S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i - \overline{X})^2,则(n−1)S2σ2=1σ2X⊤(In−1n1n1n⊤)X∼χn−12\displaystyle\frac{(n-1)S^2}{\sigma^2} = \frac{1}{\sigma^2}\boldsymbol{X}^\top (\boldsymbol{I}_n - \frac{1}{n}\boldsymbol{1}_n\boldsymbol{1}_n^\top)\boldsymbol{X} \sim \chi^2_{n-1}。
      2. 设AA和BB为对称矩阵,Y∼N(μ,In)\boldsymbol{Y} \sim N(\boldsymbol{\mu}, \boldsymbol{I}_n),且Y⊤AY\boldsymbol{Y}^\top A\boldsymbol{Y}和Y⊤BY\boldsymbol{Y}^\top B\boldsymbol{Y}服从卡方分布,则Y⊤AY⊥ ⁣ ⁣ ⁣⊥Y⊤BY⟺AB=0\boldsymbol{Y}^\top A\boldsymbol{Y} \perp\!\!\!\perp \boldsymbol{Y}^\top B\boldsymbol{Y}\Longleftrightarrow AB = 0。
      3. 设Y∼N(0,In)\boldsymbol{Y} \sim N(0, \boldsymbol{I}_n),并令Qi=Y⊤PiY∼χri2,i=1,2Q_i = \boldsymbol{Y}^\top P_i\boldsymbol{Y} \sim \chi^2_{r_i}, i = 1, 2。如果P1≥P2P_1 \ge P_2,则Q1−Q2⊥ ⁣ ⁣ ⁣⊥Q2Q_1 - Q_2 \perp\!\!\!\perp Q_2且Q1−Q2∼χr1−r22Q_1 - Q_2 \sim \chi^2_{r_1 - r_2}。
  • 设Y∼N(0,Σ)\boldsymbol{Y} \sim N(0, \Sigma),且AA为对称矩阵,则Y⊤AY∼χr2  ⟺  Σ1/2AΣ1/2\boldsymbol{Y}^\top A\boldsymbol{Y} \sim \chi^2_r \iff \Sigma^{1/2}A\Sigma^{1/2}是秩为rr的幂等矩阵  ⟺  AΣ\iff A\Sigma的rr个特征值为11,其余为00。
    • 特别地,如果Σ>0\Sigma > 0,则Σ1/2AΣ1/2\Sigma^{1/2}A\Sigma^{1/2}是幂等矩阵⟺AΣ\Longleftrightarrow A\Sigma是幂等矩阵。由此可得Y⊤Σ−Y∼χr(Σ)2\boldsymbol{Y}^\top \Sigma^{-}\boldsymbol{Y} \sim \chi^2_{r(\Sigma)}。
  • 如果Y∼N(μ,Σ)\boldsymbol{Y} \sim N(\boldsymbol{\mu}, \Sigma),其中Σ>0\Sigma > 0,则Y⊤Σ−1Y∼χn2(μ⊤Σ−1μ)\boldsymbol{Y}^\top \Sigma^{-1}\boldsymbol{Y} \sim \chi^2_n(\boldsymbol{\mu}^\top \Sigma^{-1}\boldsymbol{\mu})。
  • Fisher-Cochran 定理:设Y∼N(μ,Im)\boldsymbol{Y} \sim N(\boldsymbol{\mu}, \boldsymbol{I}_m),且Im=∑i=1kAi\displaystyle \boldsymbol{I}_m = \sum_{i=1}^k A_i,其中AiA_i为秩为rir_i的对称矩阵,则有 Y⊤AiY∼χri2(δi2),i=1,2,…,k\boldsymbol{Y}^\top A_i\boldsymbol{Y} \sim \chi^2_{r_i}(\delta_i^2),\quad i = 1, 2, \dots, k 其中δi2=μ⊤Aiμ,i=1,2,…,k,∑i=1kδi2=μ⊤μ\delta_i^2 = \boldsymbol{\mu}^\top A_i\boldsymbol{\mu}, i = 1, 2, \dots, k,\quad \displaystyle\sum_{i=1}^k \delta_i^2 = \boldsymbol{\mu}^\top \boldsymbol{\mu}。
    • 当且仅当∑i=1kri=m\displaystyle \sum_{i=1}^k r_i = m时,上述二次型相互独立。

线性模型大观

建立统计模型时,一般有两种方向:

  1. 从物理世界出发构建模型:这类模型一般被视作“正确”的模型,其往往是非参数模型,不会对数据分布作假设。然而,我们基本无法使用这类模型进行计算或预测。
  2. 从数学定理出发构建模型:这类模型(一般为参数模型)往往更简单,但也牺牲了一定的正确性。其对模型进行建模时提取数据的主要特征,从而实现数据分布参数的降维。线性模型就是这一类模型中最简单、最经典的代表。
    • 实际上,这一类模型的建模过程(也称为生成式建模)就是寻找最优参数θ∗\theta^*使得X∗=g(U,θ∗)X^*=g(U,\theta^*)与真实分布G0G_0最接近。【这其实也是数理统计中参数估计的本质】其中UU表示隐变量或噪声,fUf_U分布往往易于采样;而gg则为生成函数(如神经网络),负责将UU映射为复杂数据XX。

当然,正如Box所言:“All models are wrong, but some are useful.” 任何模型都包含了人的主观假设,没有绝对正确的模型,只有特定场景下“足够好用”的模型。

  • 线性模型(回归模型)作为统计模型中的一大代表,其主要用途包括:

    1. 描述或解释随机变量间的关系;
    2. 检验科学假设;
    3. 预测;

    等等。

现代(线性)回归模型定义

前面我们提到了“回归”这个概念的历史来源,现在我们就对回归模型进行正式定义。现代回归模型一般有下述两种形式:

  1. 随机向量Yp×1\boldsymbol{Y}_{p\times 1}由确定向量x\boldsymbol{x}的函数与随机误差得到,即Y=f(x)+ϵ\boldsymbol{Y}=f(\boldsymbol{x})+\epsilon;
  2. X\boldsymbol{X}和Y\boldsymbol{Y}都是随机向量,模型通过条件期望确定:Y=f(X)+ϵ\boldsymbol{Y}=f(\boldsymbol{X})+\epsilon,其中f(x)=E(Y∣X=x)f(\boldsymbol{x})=\mathbb{E}(\boldsymbol{Y}\mid\boldsymbol{X}=\boldsymbol{x}),且E(ϵ∣X)=0\mathbb{E}(\epsilon\mid\boldsymbol{X})=0。

上述随机误差ϵ\epsilon均假设均值为00,方差为σ2\sigma^2(ϵ∼(0,σ2)\epsilon\sim(0,\sigma^2))。特别地,当f(x1,⋯ ,xp)=β0+β1x1+⋯+βpxpf(x_1,\cdots,x_p)=\beta_0+\beta_1x_1+\cdots+\beta_px_p时,上述模型也称为线性回归模型。其中:

  • Y\boldsymbol{Y}称为响应变量/预测变量/隐变量,x\boldsymbol{x}(或X\boldsymbol{X})称为解释变量/回归因子/协变量/自变量。
    • 根据重期望公式和条件方差公式,条件期望模型在MSE指标上是对Y\boldsymbol{Y}的最优预测。
  • βj\beta_j(j=1,⋯ ,pj=1,\cdots,p)称为回归系数(在p≥2p\geq 2时也称偏回归系数)。
  • β0\beta_0称为截距,在x\boldsymbol{x}可取到0\boldsymbol{0}时表示这一情形下Y\boldsymbol{Y}的均值。

实际上,线性模型的一般形式可以表示为

E(Y∣X1=x1,X2=x2,…,Xp=xp)=f(x1,x2,…,xp)=β0+β1g1(x1,x2,…,xp)+β2g2(x1,x2,…,xp)+⋯+βmgm(x1,x2,…,xp),\begin{aligned} &\mathbb{E}(\boldsymbol{Y}\mid X_1 = x_1, X_2 = x_2, \dots, X_p = x_p)= f(x_1, x_2, \dots, x_p) \\ =&\beta_0 + \beta_1 g_1(x_1, x_2, \dots, x_p) + \beta_2 g_2(x_1, x_2, \dots, x_p) + \cdots+ \beta_m g_m(x_1, x_2, \dots, x_p), \end{aligned}

其中g1,⋯ ,gmg_1,\cdots,g_m为已知函数。也就是说,线性模型只需要关于参数βj\beta_j线性即可。

回归系数的解释:辛普森悖论

在建立了线性回归模型之后,往往会用回归系数βj\beta_j的值(或符号)解释解释变量xjx_j对Y\boldsymbol{Y}的影响:xjx_j的变化一个单位将导致Y\boldsymbol{Y}平均变化βj\beta_j个单位。

  • 然而,这一结论仅适用于xjx_j非随机的情况;因为当xjx_j为随机变量时,任一变量的变化通常都会同时引起其他变量的变化,因此无法在保持其他变量不变的情况下进行考察。
  • 辛普森悖论就是一个典型的例子:在不同子群体中观察到的趋势,在将群体合并(聚合)后可能会发生反转。这本质还是因为存在未纳入回归模型的混杂因子。

线性回归的预测:最小二乘

由上面的辛普森悖论可知,线性模型得到的条件均值E(Y∣X)\mathbb{E}(\boldsymbol{Y}\mid\boldsymbol{X})在很多情况下并不能准确反映真实规律。在这种情况下,线性回归承担的主要角色则会变为带约束的预测,并基于最小二乘得到最优系数。下面用数学表达式说明:

  • 假设(x~Y)\begin{pmatrix} \tilde{\boldsymbol{x}} \\ Y \end{pmatrix}是一个均值为μ=(μx,μY)⊤\boldsymbol{\mu} = (\mu_{\boldsymbol{x}}, \mu_Y)^\top、方差矩阵为Σ=(ΣxxΣxYΣYxΣYY)\Sigma = \begin{pmatrix} \Sigma_{\boldsymbol{xx}} & \Sigma_{\boldsymbol{x}Y} \\ \Sigma_{Y\boldsymbol{x}} & \Sigma_{YY} \end{pmatrix}的pp维随机向量,其中x~=(x1,⋯ ,xp−1)⊤\tilde{\boldsymbol{x}}=(x_1,\cdots,x_{p-1})^\top和YY均为随机变量。那么目标就是通过构建线性模型b0+x⊤bb_0 + \boldsymbol{x}^\top\boldsymbol{b}预测YY,也就是最小化 MSE=E(Y−b0−x~⊤b)2,b0∈R,b∈Rp−1\text{MSE} = \mathbb{E}(Y - b_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{b})^2,\quad b_0\in\R,\boldsymbol{b}\in\R^{p-1} 具体而言,就是确定β0\beta_0和βc=(β1,⋯ ,βp−1)\boldsymbol{\beta}_c=(\beta_1,\cdots,\beta_{p-1})使得 E(Y−β0−x~⊤βc)2≤E(Y−b0−x~⊤b)2\mathbb{E}(Y - \beta_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{\beta}_c)^2 \le \mathbb{E}(Y - b_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{b})^2 实际上,这可以看作前面随机向量投影的一种特例,因此易得解为 β0=μY−ΣYxΣxx−1μx,βc=Σxx−1ΣxY.\beta_0 = \mu_Y - \Sigma_{Y\boldsymbol{x}}\Sigma_{\boldsymbol{xx}}^{-1}\mu_{\boldsymbol{x}} ,\quad \boldsymbol{\beta}_c = \Sigma_{\boldsymbol{xx}}^{-1}\Sigma_{\boldsymbol{x}Y}. 从而得到YY的最佳线性预测: Y^=μY+ΣYxΣxx−1(x~−μx)\hat{Y} = \mu_Y + \Sigma_{Y\boldsymbol{x}} \Sigma_{\boldsymbol{xx}}^{-1} (\tilde{\boldsymbol{x}} - \mu_{\boldsymbol{x}})
  • 定义预测误差(即残差)ϵ=Y−Y^=Y−β0−x~⊤βc\epsilon=Y-\hat{Y}=Y-\beta_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{\beta}_c,那么就得到标准线性模型: Y=β0+x~⊤βc+ϵY=\beta_0+ \tilde{\boldsymbol{x}}^\top\boldsymbol{\beta}_c+\epsilon 实际上,因为Y^\hat{Y}就是YY在x~\tilde{\boldsymbol{x}}线性超平面上的正交投影,所以残差与自变量不相关(Cov(x~,ϵ)=0\mathrm{Cov}(\tilde{\boldsymbol{x}},\epsilon)=0)。
  • 特别地,当(x~Y)\begin{pmatrix} \tilde{\boldsymbol{x}} \\ Y \end{pmatrix}服从联合正态分布,那么Y^\hat{Y}就是条件均值E(Y∣x~)\mathbb{E}(Y\mid\tilde{\boldsymbol{x}})。
  • 另一方面,将上述最优预测系数代入MSE\text{MSE}公式中得到 min⁡b0,bE(Y−b0−x~⊤b)2=E(Y−β0−x~⊤βc)2=σ2−ΣyxΣxx−1Σxy.\min_{b_0,\boldsymbol{b}} \mathbb{E} \left( Y - b_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{b} \right)^2 = \mathbb{E} \left( Y - \beta_0 - \tilde{\boldsymbol{x}}^\top\boldsymbol{\beta}_c \right)^2 = \sigma^2 - \Sigma_{y\boldsymbol{x}}\Sigma_{\boldsymbol{xx}}^{-1}\Sigma_{\boldsymbol{x}y}. 这一结果小于等于min⁡b0E(Y−b0)2=E(Y−EY)2=σ2\displaystyle\min_{b_0} \mathbb{E}(Y - b_0)^2 = \mathbb{E}(Y - \mathbb{E}Y)^2 = \sigma^2,当且仅当Cov(x,Y)=0\mathrm{Cov}(\boldsymbol{x},Y)=0(即因变量与自变量不相关)时取等号。【这个结论也可以推广到任意回归模型】

确定性变量的线性近似

前面我们基本都是在x\boldsymbol{x}是随机向量的前提下进行讨论。那么当x\boldsymbol{x}是确定性向量时,线性回归的预测又有什么作用呢?实际上,这种情况下线性回归的作用就是用一个线性函数去尽可能“逼近”真实的、未知的非线性函数。【其实就是线性拟合】

  • 具体而言,我们希望用线性函数θ0+θ⊤xi\theta_0+\boldsymbol{\theta}^\top\boldsymbol{x}_{i}(θ=(θ1,⋯ ,θp−1)⊤\boldsymbol{\theta}=(\theta_1,\cdots,\theta_{p-1})^\top,xi, i=1,⋯ ,n\boldsymbol{x}_i,\ i=1,\cdots,n表示nn个因变量观测值)预测相应变量YiY_i(EYi=f(xi)\mathbb{E}Y_i=f(\boldsymbol{x}_i)),即寻找最优参数 β=arg min⁡θ∑i=1n(f(xi)−θ0−xi⊤θ)2\boldsymbol{\beta} = \argmin_{\boldsymbol{\theta}}\sum_{i=1}^{n} (f(\boldsymbol{x}_i) - \theta_0 - \boldsymbol{x}_i^\top \boldsymbol{\theta})^2 可以解得β=(X⊤X)−1X⊤f(X)\boldsymbol{\beta} = (\boldsymbol{X}^\top \boldsymbol{X})^{-1} \boldsymbol{X}^\top f(\boldsymbol{X})【与最小二乘解的形式很像】。

协变量的数量影响:概率论vs数理统计

从理论(概率论)上,当变量分布已知时,引入更多的协变量可以让预测的平均误差一直降低。然而,在实际情形(统计)中,变量的分布往往未知,只能从有限的样本进行推断。此时引入更多协变量不一定能让预测或估计更精确,因为这会引入更多未知参数,反而可能让模型方差增大(也就是机器学习中的“过拟合”)。

  • 一个简单的例子:设Y∼N(μ,σ2)Y\sim N(\mu,\sigma^2),现在需要预测未来观测值Y∗Y^*:

    • 如果直接预测Y∗=0Y^*=0,那么预测的均方误差为μ2+σ2\mu^2+\sigma^2;
    • 如果先从分布中简单随机抽样nn个样本Y1,⋯ ,YnY_1,\cdots,Y_n,计算样本均值Y‾\overline{Y}来预测Y∗Y^*,均方误差则为σ2+σ2n\sigma^2+\dfrac{\sigma^2}{n}。

    从局部均方误差的视角看,如果μ\mu接近00,σ2\sigma^2很大或者nn很小时,第二种预测(可看作引入参数/协变量)的均方误差未必比第一种更低。然而,从整体视角看,对任意μ\mu,第二种预测的均方误差都是σ2+σ2n\sigma^2+\dfrac{\sigma^2}{n},而第一种预测的均方误差可达到无穷大,因此总体上引入数据(利用协变量/参数)可以提升预测的稳健性。

  • 总而言之,在构建模型时,需要综合进行探索与利用的平衡(Exploration-Exploitation Trade-off)。【探索对应统计学,利用对应概率论】

线性模型的典型数据结构

为了构建线性回归模型,我们往往需要收集下述形式的观测值:

{(xi1,xi2,⋯ ,xi,p−1;Yi),i=1,2,⋯ ,n}\{(x_{i1},x_{i2},\cdots,x_{i,p-1};Y_i),i=1,2,\cdots,n\}

由此构建一系列方程:

Yi=β0+β1xi1+⋯+βp−1xi,p−1+ϵi,i=1,2,⋯ ,nY_i = \beta_0 + \beta_1 x_{i1} + \dots + \beta_{p-1} x_{i,p-1} + \epsilon_i, \quad i = 1, 2, \cdots, n

当然也可以写成矩阵形式(有点像线性方程组):

(Y1Y2⋮Yn)=(x10x11⋯x1,p−1x20x21⋯x2,p−1⋯⋯⋯⋯xn0xn1⋯xn,p−1)(β0β1⋮βp−1)+(ϵ1ϵ2⋮ϵn)=(x1⊤x2⊤⋮xn⊤)(β0β1⋮βp−1)+(ϵ1ϵ2⋮ϵn)\begin{aligned} \begin{pmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{pmatrix} &= \begin{pmatrix} x_{10} & x_{11} & \cdots & x_{1,p-1} \\ x_{20} & x_{21} & \cdots & x_{2,p-1} \\ \cdots & \cdots & \cdots & \cdots \\ x_{n0} & x_{n1} & \cdots & x_{n,p-1} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{p-1} \end{pmatrix} + \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{pmatrix} \\ &= \begin{pmatrix} \boldsymbol{x}^\top_1 \\ \boldsymbol{x}^\top_2 \\ \vdots \\ \boldsymbol{x}^\top_n \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{p-1} \end{pmatrix} + \begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{pmatrix} \end{aligned}

或者

Yn×1=Xn×pβp×1+ϵn×1\boldsymbol{Y}_{n \times 1} = \boldsymbol{X}_{n \times p}\boldsymbol{\beta}_{p \times 1} + \boldsymbol{\epsilon}_{n \times 1}

通常矩阵X\boldsymbol{X}的第一列元素都是11,X\boldsymbol{X}也被称为设计矩阵;ϵ∼(0,Σ)\boldsymbol{\epsilon}\sim(\boldsymbol{0},\Sigma),其中Σ\Sigma通常取σ2In\sigma^2\boldsymbol{I}_n。

参数估计与分布理论

最小二乘估计

考虑下述线性模型:Y=x⊤β+ϵY=\boldsymbol{x}^\top\boldsymbol{\beta}+\epsilon,其中x\boldsymbol{x}为确定性变量(可能包含截距项11),而YY的分布由x\boldsymbol{x},不确定系数β\boldsymbol{\beta}和随机误差ϵ∼(0,σ2In)\epsilon\sim(\boldsymbol{0},\sigma^2\mathbf{I}_n)确定(不一定正态),即

Y∼(x⊤β,σ2In)Y\sim (\boldsymbol{x}^\top\boldsymbol{\beta},\sigma^2\mathbf{I}_n)

下面我们就需要对β\boldsymbol{\beta}进行估计。

  • 对于给定x\boldsymbol{x},定义函数 g(t)=E(Y−x⊤t)2=Var(ϵ)+(EY−x⊤t)2=σ2+(t−β)⊤xx⊤(t−β),t∈Rp.\begin{aligned} g(\boldsymbol{t}) = \mathbb{E}(Y - \boldsymbol{x}^\top \boldsymbol{t})^2 &= \text{Var}(\epsilon) + (\mathbb{E}Y - \boldsymbol{x}^\top \boldsymbol{t})^2 \\ &= \sigma^2 + (\boldsymbol{t} - \boldsymbol{\beta})^\top \boldsymbol{x}\boldsymbol{x}^\top (\boldsymbol{t} - \boldsymbol{\beta}), \quad t \in \mathbb{R}^p. \end{aligned} 这实际上可看作一种理论均方误差(或者机器学习中的期望风险)。可以证明:g(t)≥g(β)g(\boldsymbol{t})\geq g(\boldsymbol{\beta})。
    • 然而,如果我们直接取t∗=arg min⁡tg(t)\boldsymbol{t}^*=\displaystyle\argmin_{\boldsymbol{t}} g(\boldsymbol{t})作为β\boldsymbol{\beta}的估计,仍然会存在问题。实际上,t∗\boldsymbol{t}^*只需满足x⊤(t∗−β)=0\boldsymbol{x}^\top(\boldsymbol{t}^*-\boldsymbol{\beta})=0即可(解得t∗=β+(I−1x⊤xxx⊤)z, z∈Rp×1\boldsymbol{t}^*=\boldsymbol{\beta}+\left(\boldsymbol{I}-\dfrac{1}{\boldsymbol{x}^\top\boldsymbol{x}}\boldsymbol{x}\boldsymbol{x}^\top\right)\boldsymbol{z},\ \boldsymbol{z}\in\R^{p\times 1})。
  • 在此基础上,我们进一步考虑已知nn个观测值(xi,Yi)(\boldsymbol{x}_i,Y_i)的情形。对此,可以定义理论误差函数 gn(t)=∑i=1nE(Yi−xi⊤t)2=∑i=1nVar(ϵi)+∑i=1n(EYi−xi⊤t)2=nσ2+(t−β)⊤∑i=1nxixi⊤(t−β)=nσ2+(t−β)⊤X⊤X(t−β).\begin{aligned} g_n(\boldsymbol{t}) &= \sum_{i=1}^n \mathbb{E}(Y_i - \boldsymbol{x}_i^\top\boldsymbol{t})^2 \\ &= \sum_{i=1}^n \text{Var}(\epsilon_i) + \sum_{i=1}^n (\mathbb{E}Y_i - \boldsymbol{x}_i^\top\boldsymbol{t})^2 \\ &= n\sigma^2 + (\boldsymbol{t} - \boldsymbol{\beta})^\top \sum_{i=1}^n \boldsymbol{x}_i\boldsymbol{x}_i^\top(\boldsymbol{t} - \boldsymbol{\beta}) \\ &= n\sigma^2 + (\boldsymbol{t} - \boldsymbol{\beta})^\top\boldsymbol{X}^\top\boldsymbol{X}(\boldsymbol{t} - \boldsymbol{\beta}). \end{aligned} 其中X=(x1,⋯ ,xn)⊤\boldsymbol{X}=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)^\top。可以证明,当X\boldsymbol{X}为列满秩矩阵,那么β\boldsymbol{\beta}就是gn(t)g_n(\boldsymbol{t})的唯一最小值点。
  • 然而,由于参数β\boldsymbol{\beta}与σ2\sigma^2都未知,我们无法直接计算gn(t)g_n(\boldsymbol{t})的最小值。对此,我们考虑用下述经验误差函数代替: 1ng^n(t)=1n∑i=1n(Yi−xi⊤t)2=1n(Y−Xt)⊤(Y−Xt)=1n∥Y−Xt∥2,\frac{1}{n}\hat{g}_n(\boldsymbol{t}) = \frac{1}{n}\sum_{i=1}^{n}(Y_i - \boldsymbol{x}_i^\top \boldsymbol{t})^2 = \frac{1}{n}(\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t})^\top (\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t}) = \frac{1}{n}\|\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t}\|^2, 这本质上是用样本均值估计期望。实际上,1ng^n(t)\dfrac{1}{n}\hat{g}_n(\boldsymbol{t})就是1ngn(t)\dfrac{1}{n}g_n(\boldsymbol{t})的一个相合估计。
  • 由此我们就能得到β\boldsymbol{\beta}的最小二乘估计: β^LS=arg min⁡tg^n(t)=arg min⁡t(Y−Xt)⊤(Y−Xt)\hat{\boldsymbol{\beta}}_{\text{LS}} =\argmin_{\boldsymbol{t}} \hat{g}_n(\boldsymbol{t}) =\argmin_{\boldsymbol{t}} (\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t})^\top(\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t}) 而g^n(t)\hat{g}_n(\boldsymbol{t})也被称为最小二乘准则。

    需要注意的是,最小二乘估计只是一种基于观测数据的估计(拟合)方法,不能将其作为数据分析的最终目的。在现实中往往需要加上模型的先验知识或经验进一步处理。

  • 下面我们进一步求解β^LS\hat{\boldsymbol{\beta}}_{\text{LS}}: g^(t)=(Y−Xt)⊤(Y−Xt)=Y⊤Y−2Y⊤Xt+t⊤X⊤Xt0=∂g^(t)∂t=2X⊤Xt−2X⊤Y⟹X⊤Xt=X⊤Y.\begin{aligned} \hat{g}(\boldsymbol{t}) &= (\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t})^\top (\boldsymbol{Y} - \boldsymbol{X}\boldsymbol{t}) = \boldsymbol{Y}^\top \boldsymbol{Y} - 2\boldsymbol{Y}^\top \boldsymbol{X}\boldsymbol{t} + \boldsymbol{t}^\top \boldsymbol{X}^\top \boldsymbol{X}\boldsymbol{t} \\[10pt] \boldsymbol{0}&=\frac{\partial \hat{g}(\boldsymbol{t})}{\partial \boldsymbol{t}} = 2\boldsymbol{X}^\top \boldsymbol{X}\boldsymbol{t} - 2\boldsymbol{X}^\top \boldsymbol{Y}\Longrightarrow\boldsymbol{X}^\top \boldsymbol{X}\boldsymbol{t} = \boldsymbol{X}^\top \boldsymbol{Y}. \end{aligned} 最后得到的方程X⊤Xβ^LS=X⊤Y\boldsymbol{X}^\top\boldsymbol{X}\hat{\boldsymbol{\beta}}_{\text{LS}} = \boldsymbol{X}^\top \boldsymbol{Y}称作线性模型最小二乘估计的正规方程。
    • 如果X\boldsymbol{X}列满秩(X⊤X\boldsymbol{X}^\top\boldsymbol{X}可逆),那么可直接得到β^LS=(X⊤X)−1X⊤Y\hat{\boldsymbol{\beta}}_{\text{LS}}=(\boldsymbol{X}^\top\boldsymbol{X})^{-1}\boldsymbol{X}^\top\boldsymbol{Y}。
    • 我们也可以从几何角度理解最小二乘估计:实际上,hatβLShat{\boldsymbol{\beta}}_{\text{LS}}就是Y\boldsymbol{Y}在M(X)\mathcal{M}(\boldsymbol{X})空间上的正交投影,即 Y−Xβ^LS⊥M(X)⟺X⊤(Y−Xβ^LS)=0⟺X⊤Xβ^LS=X⊤Y.\boldsymbol{Y} - \boldsymbol{X}\hat{\boldsymbol{\beta}}_{\mathrm{LS}} \perp \mathcal{M}(\boldsymbol{X}) \Longleftrightarrow \boldsymbol{X}^\top \left( \boldsymbol{Y} - \boldsymbol{X}\hat{\boldsymbol{\beta}}_{\mathrm{LS}} \right) = \boldsymbol{0} \Longleftrightarrow \boldsymbol{X}^\top \boldsymbol{X}\hat{\boldsymbol{\beta}}_{\mathrm{LS}} = \boldsymbol{X}^\top \boldsymbol{Y}.
    • 可以证明,上述正规方程一定有解(X⊤Y∈M(X⊤)=M(X⊤X)\boldsymbol{X}^\top \boldsymbol{Y}\in\mathcal{M}(\boldsymbol{X}^\top)=\mathcal{M}(\boldsymbol{X}^\top\boldsymbol{X}))。不过当且仅当X⊤X\boldsymbol{X}^\top\boldsymbol{X}可逆时解唯一。对于一般情形,我们可以定义下述投影矩阵 P=X(X⊤X)−X⊤\boldsymbol{P}=\boldsymbol{X}(\boldsymbol{X}^\top\boldsymbol{X})^{-}\boldsymbol{X}^\top 由前面的理论可知P\boldsymbol{P}与广义逆的选取无关,且为对称幂等、秩与X\boldsymbol{X}相同的矩阵。特别地,当X⊤X\boldsymbol{X}^\top\boldsymbol{X}可逆时也称P\boldsymbol{P}为帽子矩阵。实际上,正交投影PY≜Y^\boldsymbol{P}\boldsymbol{Y}\triangleq\hat{\boldsymbol{Y}}就是最小二乘的拟合值。
在简单线性回归的应用

下面介绍最小二乘估计在简单线性回归模型中的应用:考虑

Y=1nβ0+Xβ1+ϵ\boldsymbol{Y}=\boldsymbol{1}_n\beta_0+\boldsymbol{X}\boldsymbol{\beta}_1+\epsilon

其中X=(x1,⋯ ,xn)⊤∈Rn×1\boldsymbol{X}=(x_1,\cdots,x_n)^\top\in\R^{n\times 1}。为了方便矩阵求逆,对模型进行变形:

Y=1nβ0+P1nXβ1+N1nXβ1+ϵ=1nγ0+N1nXβ1+ϵ\boldsymbol{Y} = \mathbf{1}_n \beta_0 + \boldsymbol{P}_{\mathbf{1}_n} \boldsymbol{X} \boldsymbol{\beta}_1 + \boldsymbol{N}_{\mathbf{1}_n} \boldsymbol{X} \boldsymbol{\beta}_1 + \epsilon = \mathbf{1}_n \gamma_0 + \boldsymbol{N}_{\mathbf{1}_n} \boldsymbol{X} \boldsymbol{\beta}_1 + \epsilon

其中P1n\boldsymbol{P}_{\mathbf{1}_n}表示投影到M(1n)\mathcal{M}(\mathbf{1}_n)的投影矩阵(P1nX\boldsymbol{P}_{\mathbf{1}_n} \boldsymbol{X}得到均值向量),N1n=In−P1n\boldsymbol{N}_{\mathbf{1}_n}=\mathbf{I}_n-\boldsymbol{P}_{\mathbf{1}_n}。因此得到新截距γ0=β0+X‾β1\gamma_0=\beta_0+\overline{X}\boldsymbol{\beta}_1,由此得到最小二乘估计

(γ^0β^1)=[(1n⊤(N1nX)⊤)(1nN1nX)]−1(1n⊤X⊤N1n)Y=(n00X⊤N1nX)−1(1n⊤X⊤N1n)Y=(Y‾(X⊤N1nX)−1X⊤N1nY)\begin{aligned} \begin{pmatrix} \hat{\gamma}_0 \\ \hat{\beta}_1 \end{pmatrix} &= \left[ \begin{pmatrix} \mathbf{1}_n^\top \\ (\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{X})^\top \end{pmatrix} \begin{pmatrix} \mathbf{1}_n & \boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{X} \end{pmatrix} \right]^{-1} \begin{pmatrix} \mathbf{1}_n^\top \\ \boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n} \end{pmatrix} \boldsymbol{Y} \\ &= \begin{pmatrix} n & 0 \\ 0 & \boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{X} \end{pmatrix}^{-1} \begin{pmatrix} \mathbf{1}_n^\top \\ \boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n} \end{pmatrix} \boldsymbol{Y} = \begin{pmatrix} \overline{Y} \\ (\boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{X})^{-1} \boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{Y} \end{pmatrix} \end{aligned}

由此得到原始参数的最小二乘估计:

β^0=Y‾−X‾β^1β^1=(X⊤N1nX)−1X⊤N1nY=∑i=1n(xi−X‾)(Yi−Y‾)∑i=1n(xi−X‾)2:=SxySxx.\begin{aligned} \hat{\beta}_0 &= \overline{Y} - \overline{X}\hat{\beta}_1 \\ \hat{\beta}_1 &= (\boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{X})^{-1} \boldsymbol{X}^\top\boldsymbol{N}_{\mathbf{1}_n}\boldsymbol{Y} = \frac{\sum_{i=1}^n (x_i - \overline{X})(Y_i - \overline{Y})}{\sum_{i=1}^n (x_i - \overline{X})^2} := \frac{S_{xy}}{S_{xx}}. \end{aligned}

这个结果与最佳线性预测的结果形式基本一致。

有时我们需要处理的样本维数很高,计算(X⊤X)−1(\boldsymbol{X}^\top\boldsymbol{X})^{-1}比较困难;有时数据是以数据流的形式呈现(即在线学习)。对于这两种情形,可以考虑采用递归迭代的方式计算最小二乘估计。

  • 具体而言,记An=(Xn⊤Xn)−1A_n=(\boldsymbol{X}_n^\top\boldsymbol{X}_n)^{-1}(n≥pn\geq p),则迭代公式: bn=Anxn+11+xn+1⊤Anxn+1β^n+1=β^n+(yn+1−xn+1⊤β^n)bnAn+1=An−Anxn+1xn+1⊤An1+xn+1⊤Anxn+1=(Ip−bnxn+1)An.\begin{aligned} \boldsymbol{b}_n &= \frac{A_n \boldsymbol{x}_{n+1}}{1+\boldsymbol{x}^\top_{n+1}A_n\boldsymbol{x}_{n+1}} \\ \hat{\boldsymbol{\beta}}_{n+1} &= \hat{\boldsymbol{\beta}}_n + (y_{n+1} - \boldsymbol{x}^\top_{n+1}\hat{\boldsymbol{\beta}}_n)\boldsymbol{b}_n \\ A_{n+1} &= A_n - \frac{A_n \boldsymbol{x}_{n+1}\boldsymbol{x}^\top_{n+1}A_n}{1+\boldsymbol{x}^\top_{n+1}A_n\boldsymbol{x}_{n+1}} = (\mathbf{I}_p - \boldsymbol{b}_n\boldsymbol{x}_{n+1})A_n. \end{aligned} 其中第三个公式来源于Sherman-Morrison公式,它是Woodbury矩阵公式的特殊情形(具体请见练习题集)。
    • 另一方面,当nn足够大时,xn+1⊤Anxn+1→0\boldsymbol{x}^\top_{n+1}A_n\boldsymbol{x}_{n+1}\to 0,因此可以将第二个公式近似为 β^n+1=β^n+(yn+1−xn+1⊤β^n)Anxn+1\hat{\boldsymbol{\beta}}_{n+1} = \hat{\boldsymbol{\beta}}_n + (y_{n+1} - \boldsymbol{x}^\top_{n+1}\hat{\boldsymbol{\beta}}_n)A_n \boldsymbol{x}_{n+1} 这实际上与随机梯度下降的参数更新公式形式类似: β^n+1=β^n+αnxn+1(yn+1−xn+1⊤β^n),\hat{\boldsymbol{\beta}}_{n+1} = \hat{\boldsymbol{\beta}}_n + \alpha_n \boldsymbol{x}_{n+1}(y_{n+1} - \boldsymbol{x}^\top_{n+1}\hat{\boldsymbol{\beta}}_n), 研究证明,当∑n=1∞an=∞,∑n=1∞an2<∞\sum_{n=1}^\infty a_n=\infty,\sum_{n=1}^\infty a_n^2< \infty时,上述迭代算法一定可以收敛到真实参数β\boldsymbol{\beta}。