一般的统计模型形式:y=f(x)+ϵ,其中:
- x为数据/自变量,y为预测/因变量,ϵ为误差/噪声。
线性模型就是对这一模型的理想化近似:f(x)=β0+x1β1+⋯+xpβp,其中p为数据的维度。同时假设误差服从(多元)正态分布N(0,Σ)。
前置知识(矩阵代数与随机向量)
这里主要是对高等代数(矩阵论)以及概率论(期望、方差、矩母函数等)的回顾。一些概念可能会与概率论 Cheat Sheet以及CS127系列笔记有部分重复,但笔者还是决定再记一遍毕竟有些概念确实容易忘记
矩阵论
-
矩阵的迹与特征值
tr(A+B)tr(AB)=tr(A)+tr(B)=tr(BA)
- 设A∈Rm×n,B∈Rn×m,则AB的非零特征值与BA相同(考虑代数重数)。【证明提示:ABx=λx⟹BA(Bx)=λ(Bx)】
- 特别地,当A与B均为方阵时,AB与BA的特征值完全相同。【若AB有零特征值,则∣AB∣=0=∣BA∣】
- 若A为n阶方阵,且有n个特征值λ1,⋯,λn,那么有
tr(A)=i=1∑nλi,∣A∣=i=1∏nλi.
-
对称矩阵(用于考察协方差矩阵)
设A为n阶实对称矩阵,那么其有以下性质:
- A的所有特征值均为实数,对应的特征向量也由实数构成;
- 矩阵任意两个不同特征值对应的特征向量相互正交;
- A一定有n个特征值(记作λ1,⋯,λn),且对应的n个特征向量可以标准正交对角化;
- A可以进行下述分解(也称为谱分解):
A=Pλ1⋱λnP⊤≜PΛP⊤
其中P为标准正交矩阵。
- 对任意正整数s,有
A=Pλ1s⋱λnsP⊤≜PΛsP⊤⟹tr(As)=i=1∑nλis
- 若A满秩,则A−1的特征值为λ1−1,⋯,λn−1;
- In+cA的特征值为1+cλ1,⋯,1+cλn;
- 若A为半正定矩阵(p.s.d.),则其所有特征值均非负,因此tr(A)≥0。
- Rayleigh商性质:
x⊤x=0maxx⊤xx⊤Ax=λmax(A),x⊤x=0minx⊤xx⊤Ax=λmin(A)
-
半正定矩阵
定义矩阵的Löwner序:A⪰B⟺A−B为半正定矩阵⟺x⊤Ax≥x⊤Bx,∀x∈Rn
- 特别地,若A,B均为正定矩阵,则有A⪰B⟺A−1⪯B−1。【当然也可以推广到B为半正定矩阵的情形,此时AB−A⪯A】
-
矩阵列空间
设矩阵X的列空间为M(X),则有M(X⊤)=M(X⊤X)(相应地,有M(X)=M(XX⊤))
-
奇异值分解(SVD)
奇异值定义:设X∈Rn×p的秩为r,X⊤X的正特征值为λ1≥⋯≥λr>0,则X的奇异值为λ1,⋯,λr
- 对上述矩阵X,一定存在标准正交矩阵P∈Rp×p和Q∈Rn×n使得
X=Q(Λ21000)P⊤≜Q1Λr21P1⊤
其中Q1和P1分别是由XX⊤和X⊤X的非零特征值对应的特征向量构成的矩阵。
-
幂等矩阵与投影矩阵
- 幂等矩阵定义:A2=A,其主要性质为:特征值只有0和1。
- (正交)投影定义:设Ω为Rn的一个线性子空间,y∈Rn,则如果对于u∈Ω有y−u⊥Ω,则称u为y在Ω上的正交投影,记作u=projΩ(y)。
- 正交投影(矩阵)具有如下性质:
- 正交投影具有唯一性(设Ω=M(X),则可用矩阵X(X⊤X)−1X⊤表示这一变换)
-
proj(y)=α∈Ωargmin∥y−α∥2=Xβ∈Ω=M(X)argmin∥y−Xβ∥2.
- ϕ:Rn→Ω⊆Rn为正交投影⟺存在幂等矩阵P∈Rn×n,Ω=M(P)使得ϕ(y)=Py,∀y∈Rn【投影矩阵⇔实对称幂等矩阵】
- 当P为Rn到Ω的投影矩阵时,In−P为Rn到Ω⊥的投影矩阵。
- 对于投影矩阵P1,P2,下列表述等价:
- P1⪰P2;
- P1P2=P2P1=P2;
- P1−P2为投影矩阵;
- M(P2)⊆M(P1)。
-
向量微分与广义逆
定义β=(β1,β2,⋯,βn)⊤,则∂β∂=(∂β1∂,∂β2∂,⋯,∂βn∂)⊤,由此可定义如下微分:
- 当y=f(x):Rn→R,则∂x∂f=(∂x1∂f,∂x2∂f,⋯,∂xn∂f)⊤;
- 当y=f(x):Rn→Rm,则∂x∂f⊤=(∂x∂f1,∂x∂f2,⋯,∂x∂fm)【结果为n×m矩阵】,∂x⊤∂f=(∂x∂f⊤)⊤。
实例:
- 对任意向量a∈Rn,∂β∂β⊤a=a,而对任意列数为n的矩阵A,∂β∂β⊤A=A。
- 对于任意方阵A,∂β∂(β⊤Aβ)=(A+A⊤)β。特别地,当A为对称矩阵时,∂β∂(β⊤Aβ)=2Aβ。
矩阵的广义逆定义:A−满足AA−A=A。
- 例:当A=(A11000)时,A−=(A11CBD),其中B,C,D为任意矩阵。
随机向量
符号约定:随机向量X=(X1,X2,⋯,Xn)⊤,随机矩阵X=X11X21⋮Xn1X12X22⋮Xn2⋯⋯⋱⋯X1nX2n⋮Xnn
-
期望(矩阵)
记Z=(Zij)m×n,定义期望矩阵EZ=(EZij)m×n
- 给定矩阵A,B,C,有E(AZB+C)=AE(Z)B+C
-
(协)方差矩阵
设X和Y分别为m维与n维随机向量,则协方差矩阵定义为Cov(X,Y)=(Cov(Xi,Yj))m×n
- 特别地,若Y=X,定义Var(X)=Cov(X)=Cov(X,X)
- 若X的均值向量为μ,协方差矩阵为Σ,那么可以写作X∼(μ,Σ)
协方差矩阵具有下述性质:
- Cov(X,Y)=E[(X−EX)(Y−EY)⊤]=E(XY⊤)−EXEY⊤;
- Cov(X,Y)=Cov(Y,X)⊤;【注意转置】
- Var(X)=E[(X−EX)(X−EX)⊤]=E(XX⊤)−EXEX⊤。
- Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z);
- 推论:Cov(X+Y)=Cov(X)+Cov(Y)+Cov(X,Y)+Cov(Y,X)。
- 对于任意常数向量 c,有 Cov(X+c)=Cov(X);
- Cov(AX,BY)=ACov(X,Y)B⊤;
- Cov(X)≥0。【半正定性】
-
(非)奇异(退化)随机向量
若随机向量X的协方差矩阵是(非)奇异矩阵,那么就称X是(非)奇异的。
- 实际上,协方差矩阵非奇异等价于协方差矩阵正定。
- X非奇异⟺不存在常数向量a=0和b使得a⊤X=ba.s.;【证明提示:a⊤Σa=Var(a⊤X)=E[(a⊤(X−μ))2]】
- 若X的均值向量为0,则X∈M(Σ)a.s.。【证明提示:对于对称矩阵,M(Σ)=N(Σ)⊥,N(⋅)表示零空间;零空间中的任意向量与X正交a.s.】
- 当然,若X的均值向量为μ=0,则X−μ∈M(Σ)a.s.
- 另一方面,由此可以得到推论:X⊤Σ−X是良定义的(广义逆的选择不影响结果)。
- 对上面的推论,我们还可以推广到分块协方差矩阵上:记Cov(XY)=(ΣXXΣYXΣXYΣYY),则ΣYXΣXX−ΣXX(=ΣYX)与ΣYXΣXX−(X−E(X))的结果与广义逆的选择无关。
- 证明提示:X−EX∈M(ΣXX)⟹∀a∈N(ΣXX),a⊤X为常数a.s.⟹ΣYXa=0,N(ΣYX)⊆N(ΣXX)⟹ΣYX(I−ΣXX−ΣXX)=0
-
随机向量投影(逐渐接入线性回归)
对于任意随机向量 Xm×1 和 Yn×1,定义最小化问题
Z=MX+b:M∈Rn×m,b∈RnminE[(Y−Z)(Y−Z)⊤]
在Löwner序下的解Y^为Y在X上的线性投影,记作projX(Y)。
- 实际上,这里的线性投影可以表示为
projX(Y)=EY+Cov(Y,X)[Cov(X)]−(X−EX)=μY+ΣYXΣXX−(X−μX)
其中ΣYX=Cov(Y,X),ΣXX=Cov(X)。由此得到最优系数
M∗=ΣYXΣXX−,b∗=μY−ΣYXΣXX−μX
当(X,Y)服从联合正态分布时,projX(Y)就对应E(Y∣X)。
- 特别地,当X退化为定值时,projX(Y)即为Y的均值。
- 当projX(Y)=M∗X+b∗时,projX(a⊤Y)=a⊤M∗X+a⊤b∗=a⊤projX(Y)
- Y^满足的性质:E(Y−Y^)=0,E(X⊤(Y−Y^))=0
-
随机向量二次型
- 设EX=μ,Cov(X)=Σ,则
E(X⊤AX)E[(X−b)⊤A(X−b)]=tr(AΣ)+μ⊤Aμ=tr(AΣ)+(μ−b)⊤A(μ−b)
特别地,若Σ=σ2I(X各分量不相关且等方差),则E(X⊤AX)=σ2tr(A)+μ⊤Aμ。
当A=I时,就是二阶矩计算公式。
- 设X∼(μ,σ2In),其各分量相互独立,且对于k=3,4以及每个i=1,2,…,n,有E(Xi−μi)k=νk。如果A是任意n×n对称矩阵,且a:=(a11,a22,…,ann)⊤(A对角线元素向量),那么
Var(X⊤AX)=(ν4−3σ4)a⊤a+2σ4tr(A2)+4σ2μ⊤A2μ+4ν3μ⊤Aa.
矩母函数
- 随机向量X的矩母函数定义(默认存在):MX(t)=E(exp{t⊤X})。
- 矩母函数也称为矩生成函数,其名称来源于函数可以生成随机向量的任意阶矩。具体而言,对于一维随机变量:
MX(t)=n=0∑∞n!tnE(Xn)⟹MX(n)(0)=E(Xn)
而对于k维随机向量X:
MX(t)=n1=0∑∞⋯nk=0∑∞n1!…nk!t1n1…tknkE(X1n1…Xknk)⟹∂t1n1∂t2n2…∂tknk∂n1+n2+⋯+nkMX(0)=E(X1n1X2n2…Xknk)
- 常见分布矩母函数:
- 一元标准正态分布N(0,1):MX(t)=exp{2t2};
- 卡方分布χr2:MX(t)=(1−2t)−2r,t=[0,21);
- 多元正态分布Nk(μ,Σ):MX(t)=exp{t⊤μ+21t⊤Σt}。
- 矩母函数的性质:
- 若在∥t∥<t0(t0>0)范围内矩母函数MX(t)存在,那么其有且仅有一个分布与之对应;
- 若M(X,Y)(t1,t2)是(X,Y)的联合矩母函数,那么有MX(t)=M(X,Y)(t,0);
- X与Y相互独立(记作X⊥⊥Y)⟺M(X,Y)(t1,t2)=MX(t1)MY(t2)
- 应用例:Q=Q1+Q2,Q∼χr2,Q1∼χr12,Q1⊥⊥Q2,则Q2∼χr−r12。
多元正态分布
- 首先定义标准多元正态分布:设Z1,⋯,Zn∼i.i.d.N(0,1),则称Z=(Z1,⋯,Zn)⊤服从n维标准正态分布,记作Z∼Nn(0,In)(或N(0,In))
- Z的联合概率密度函数为
f(z)=(2π)−2nexp{−21z⊤z},z∈Rn
而Z的矩母函数则为
MZ(t)=i=1∏nexp{21ti2}=exp{21t⊤t}.
- 基于标准多元正态分布,定义一般的多元正态分布:设Z∼Nn(0,In),若m维随机向量Y与AZ+μ同分布(A∈Rm×n,μ∈Rm×1),则称Y服从m维正态分布,记作Y∼Nn(μ,Σ),其中Σ=AA⊤∈Rm×m。
- 由此可以发现,在定义中并没有对A作任何限制,因此当A非满秩(退化)时,得到的Y分布也是退化的(甚至可以退化为常数向量)。而这种退化情形无法直接用密度函数形式进行刻画。
- Y具有下述性质:
- 期望与(协)方差:EY=μ,Var(Y)=Σ;
- 矩母函数与特征函数:MY(t)=exp{21t⊤Σt+t⊤μ},ϕY(t)=exp{−21t⊤Σt+it⊤μ};
- 线性变换:CY+d∼N(Cμ+d,C⊤ΣC);
- 若Σ>0,则Y的概率密度函数为
f(y)=(2π)−2m∣Σ∣−21exp{−21(y−μ)⊤Σ−1(y−μ)},y∈Rm,
- 分块性质:设Y=(Y1Y2)∼N(μ,Σ),μ=(μ1μ2)和Σ=(Σ11Σ21Σ12Σ22)为向量/矩阵分块。则
- 若Y∼N(μ,Σ),将Σ特征分解为PΛrP⊤,则U=Λr−21P⊤(Y−μ)∼N(0,Ir)且Y=PΛr21U+μ a.s.。
- 这也说明上述基于标准多元正态分布的定义里实际上完全可以找到一个标准多元正态分布向量使其线性变换后就得到Y。
- 多元正态判定条件:Y∈Rm服从多元正态分布当且仅当对任意非零常数向量a∈Rm,a⊤Y服从一元正态分布。
多元正态分布的“回归”
由上述条件分布定理可得,E(Y1∣Y2=y2)=μ1+Σ12Σ22−1(Y2−μ2),将其转化为
E(Y1∣Y2=y2)−μ1=Σ12Σ22−1(Y2−μ2)
特别地,当Y1和Y2均为一元随机变量,则
E(Y1∣Y2)=μ1+σ22σ12Y2−μ2=μ1+σ2σ1ρ(Y2−μ2)=μ1−βμ2+βY2,
这里σ1,σ2为标准差,ρ为相关系数。这一式子由统计学家高尔顿首次发现,同时其还发现下述规律:
- Y2>μ2时,E(Y1∣Y2)倾向于大于μ1;【父亲身高高于父亲均值时,儿子身高预测也倾向高于儿子均值】
- 观测值表明β∈(0,1),这说明Y1的变化幅度总体低于Y2【儿子群体身高变异整体低于父亲群体】。这也是高尔顿将这一现象命名为(均值)回归的原因。
- 实际上,这一现象的本质很容易理解:因为σ1≤σ2(在高尔顿的实验中假设σ1=σ2),而相关系数∣ρ∣<1,因此自然得到∣β∣<1。而如今的回归分析已脱离了原本回归的本意,变成了一般线性模型的分析方法。
多元正态二次型分布
设Z∼N(μ,Im),由此我们可以定义以下重要分布(注意与数理统计中的中心分布区分):
- 非中心卡方分布:Z⊤Z∼χm2(δ2),称为自由度为m的非中心卡方分布,其中δ2=μ⊤μ称为非中心参数。特别地,δ2=0(即μ=0)时即为(中心)卡方分布,记作χm2。
- 矩母函数:Mχm2(δ2)(t)=(1−2t)−2mexp{1−2ttδ2},t∈[0,1/2);
- 非中心卡方分布仍然满足可加性。
- 非中心t分布:如果u=dZ/mY,则称随机变量u具有自由度为m的非中心学生t分布,记作u∼tm(μ),其中Y∼N(μ,1),Z∼χm2且相互独立,μ称为非中心参数。
- 非中心F分布:如果u=dZ/m2Y/m1,则称随机变量u具有第一自由度为m1和第二自由度为m2的非中心F分布,记作u∼Fm1,m2(δ2),其中Y∼χm12(δ2),Z∼χm22且相互独立,δ2是非中心参数。
- 设Y∼N(μ,In)且A为对称矩阵,则Y⊤AY∼χr2(μ⊤Aμ)⟺A是秩为r的幂等矩阵。
- 应用例:
- 设X∼N(μ1n,σ2In),S2=n−11i=1∑n(Xi−X)2,则σ2(n−1)S2=σ21X⊤(In−n11n1n⊤)X∼χn−12。
- 设A和B为对称矩阵,Y∼N(μ,In),且Y⊤AY和Y⊤BY服从卡方分布,则Y⊤AY⊥⊥Y⊤BY⟺AB=0。
- 设Y∼N(0,In),并令Qi=Y⊤PiY∼χri2,i=1,2。如果P1≥P2,则Q1−Q2⊥⊥Q2且Q1−Q2∼χr1−r22。
- 设Y∼N(0,Σ),且A为对称矩阵,则Y⊤AY∼χr2⟺Σ1/2AΣ1/2是秩为r的幂等矩阵⟺AΣ的r个特征值为1,其余为0。
- 特别地,如果Σ>0,则Σ1/2AΣ1/2是幂等矩阵⟺AΣ是幂等矩阵。由此可得Y⊤Σ−Y∼χr(Σ)2。
- 如果Y∼N(μ,Σ),其中Σ>0,则Y⊤Σ−1Y∼χn2(μ⊤Σ−1μ)。
- Fisher-Cochran 定理:设Y∼N(μ,Im),且Im=i=1∑kAi,其中Ai为秩为ri的对称矩阵,则有
Y⊤AiY∼χri2(δi2),i=1,2,…,k
其中δi2=μ⊤Aiμ,i=1,2,…,k,i=1∑kδi2=μ⊤μ。
- 当且仅当i=1∑kri=m时,上述二次型相互独立。
线性模型大观
建立统计模型时,一般有两种方向:
- 从物理世界出发构建模型:这类模型一般被视作“正确”的模型,其往往是非参数模型,不会对数据分布作假设。然而,我们基本无法使用这类模型进行计算或预测。
- 从数学定理出发构建模型:这类模型(一般为参数模型)往往更简单,但也牺牲了一定的正确性。其对模型进行建模时提取数据的主要特征,从而实现数据分布参数的降维。线性模型就是这一类模型中最简单、最经典的代表。
- 实际上,这一类模型的建模过程(也称为生成式建模)就是寻找最优参数θ∗使得X∗=g(U,θ∗)与真实分布G0最接近。【这其实也是数理统计中参数估计的本质】其中U表示隐变量或噪声,fU分布往往易于采样;而g则为生成函数(如神经网络),负责将U映射为复杂数据X。
当然,正如Box所言:“All models are wrong, but some are useful.” 任何模型都包含了人的主观假设,没有绝对正确的模型,只有特定场景下“足够好用”的模型。
现代(线性)回归模型定义
前面我们提到了“回归”这个概念的历史来源,现在我们就对回归模型进行正式定义。现代回归模型一般有下述两种形式:
- 随机向量Yp×1由确定向量x的函数与随机误差得到,即Y=f(x)+ϵ;
- X和Y都是随机向量,模型通过条件期望确定:Y=f(X)+ϵ,其中f(x)=E(Y∣X=x),且E(ϵ∣X)=0。
上述随机误差ϵ均假设均值为0,方差为σ2(ϵ∼(0,σ2))。特别地,当f(x1,⋯,xp)=β0+β1x1+⋯+βpxp时,上述模型也称为线性回归模型。其中:
- Y称为响应变量/预测变量/隐变量,x(或X)称为解释变量/回归因子/协变量/自变量。
- 根据重期望公式和条件方差公式,条件期望模型在MSE指标上是对Y的最优预测。
- βj(j=1,⋯,p)称为回归系数(在p≥2时也称偏回归系数)。
- β0称为截距,在x可取到0时表示这一情形下Y的均值。
实际上,线性模型的一般形式可以表示为
=E(Y∣X1=x1,X2=x2,…,Xp=xp)=f(x1,x2,…,xp)β0+β1g1(x1,x2,…,xp)+β2g2(x1,x2,…,xp)+⋯+βmgm(x1,x2,…,xp),
其中g1,⋯,gm为已知函数。也就是说,线性模型只需要关于参数βj线性即可。
回归系数的解释:辛普森悖论
在建立了线性回归模型之后,往往会用回归系数βj的值(或符号)解释解释变量xj对Y的影响:xj的变化一个单位将导致Y平均变化βj个单位。
- 然而,这一结论仅适用于xj非随机的情况;因为当xj为随机变量时,任一变量的变化通常都会同时引起其他变量的变化,因此无法在保持其他变量不变的情况下进行考察。
- 辛普森悖论就是一个典型的例子:在不同子群体中观察到的趋势,在将群体合并(聚合)后可能会发生反转。这本质还是因为存在未纳入回归模型的混杂因子。
线性回归的预测:最小二乘
由上面的辛普森悖论可知,线性模型得到的条件均值E(Y∣X)在很多情况下并不能准确反映真实规律。在这种情况下,线性回归承担的主要角色则会变为带约束的预测,并基于最小二乘得到最优系数。下面用数学表达式说明:
- 假设(x~Y)是一个均值为μ=(μx,μY)⊤、方差矩阵为Σ=(ΣxxΣYxΣxYΣYY)的p维随机向量,其中x~=(x1,⋯,xp−1)⊤和Y均为随机变量。那么目标就是通过构建线性模型b0+x⊤b预测Y,也就是最小化
MSE=E(Y−b0−x~⊤b)2,b0∈R,b∈Rp−1
具体而言,就是确定β0和βc=(β1,⋯,βp−1)使得
E(Y−β0−x~⊤βc)2≤E(Y−b0−x~⊤b)2
实际上,这可以看作前面随机向量投影的一种特例,因此易得解为
β0=μY−ΣYxΣxx−1μx,βc=Σxx−1ΣxY.
从而得到Y的最佳线性预测:
Y^=μY+ΣYxΣxx−1(x~−μx)
- 定义预测误差(即残差)ϵ=Y−Y^=Y−β0−x~⊤βc,那么就得到标准线性模型:
Y=β0+x~⊤βc+ϵ
实际上,因为Y^就是Y在x~线性超平面上的正交投影,所以残差与自变量不相关(Cov(x~,ϵ)=0)。
- 特别地,当(x~Y)服从联合正态分布,那么Y^就是条件均值E(Y∣x~)。
- 另一方面,将上述最优预测系数代入MSE公式中得到
b0,bminE(Y−b0−x~⊤b)2=E(Y−β0−x~⊤βc)2=σ2−ΣyxΣxx−1Σxy.
这一结果小于等于b0minE(Y−b0)2=E(Y−EY)2=σ2,当且仅当Cov(x,Y)=0(即因变量与自变量不相关)时取等号。【这个结论也可以推广到任意回归模型】
确定性变量的线性近似
前面我们基本都是在x是随机向量的前提下进行讨论。那么当x是确定性向量时,线性回归的预测又有什么作用呢?实际上,这种情况下线性回归的作用就是用一个线性函数去尽可能“逼近”真实的、未知的非线性函数。【其实就是线性拟合】
- 具体而言,我们希望用线性函数θ0+θ⊤xi(θ=(θ1,⋯,θp−1)⊤,xi, i=1,⋯,n表示n个因变量观测值)预测相应变量Yi(EYi=f(xi)),即寻找最优参数
β=θargmini=1∑n(f(xi)−θ0−xi⊤θ)2
可以解得β=(X⊤X)−1X⊤f(X)【与最小二乘解的形式很像】。
协变量的数量影响:概率论vs数理统计
从理论(概率论)上,当变量分布已知时,引入更多的协变量可以让预测的平均误差一直降低。然而,在实际情形(统计)中,变量的分布往往未知,只能从有限的样本进行推断。此时引入更多协变量不一定能让预测或估计更精确,因为这会引入更多未知参数,反而可能让模型方差增大(也就是机器学习中的“过拟合”)。
-
一个简单的例子:设Y∼N(μ,σ2),现在需要预测未来观测值Y∗:
- 如果直接预测Y∗=0,那么预测的均方误差为μ2+σ2;
- 如果先从分布中简单随机抽样n个样本Y1,⋯,Yn,计算样本均值Y来预测Y∗,均方误差则为σ2+nσ2。
从局部均方误差的视角看,如果μ接近0,σ2很大或者n很小时,第二种预测(可看作引入参数/协变量)的均方误差未必比第一种更低。然而,从整体视角看,对任意μ,第二种预测的均方误差都是σ2+nσ2,而第一种预测的均方误差可达到无穷大,因此总体上引入数据(利用协变量/参数)可以提升预测的稳健性。
-
总而言之,在构建模型时,需要综合进行探索与利用的平衡(Exploration-Exploitation Trade-off)。【探索对应统计学,利用对应概率论】
线性模型的典型数据结构
为了构建线性回归模型,我们往往需要收集下述形式的观测值:
{(xi1,xi2,⋯,xi,p−1;Yi),i=1,2,⋯,n}
由此构建一系列方程:
Yi=β0+β1xi1+⋯+βp−1xi,p−1+ϵi,i=1,2,⋯,n
当然也可以写成矩阵形式(有点像线性方程组):
Y1Y2⋮Yn=x10x20⋯xn0x11x21⋯xn1⋯⋯⋯⋯x1,p−1x2,p−1⋯xn,p−1β0β1⋮βp−1+ϵ1ϵ2⋮ϵn=x1⊤x2⊤⋮xn⊤β0β1⋮βp−1+ϵ1ϵ2⋮ϵn
或者
Yn×1=Xn×pβp×1+ϵn×1
通常矩阵X的第一列元素都是1,X也被称为设计矩阵;ϵ∼(0,Σ),其中Σ通常取σ2In。
参数估计与分布理论
最小二乘估计
考虑下述线性模型:Y=x⊤β+ϵ,其中x为确定性变量(可能包含截距项1),而Y的分布由x,不确定系数β和随机误差ϵ∼(0,σ2In)确定(不一定正态),即
Y∼(x⊤β,σ2In)
下面我们就需要对β进行估计。
- 对于给定x,定义函数
g(t)=E(Y−x⊤t)2=Var(ϵ)+(EY−x⊤t)2=σ2+(t−β)⊤xx⊤(t−β),t∈Rp.
这实际上可看作一种理论均方误差(或者机器学习中的期望风险)。可以证明:g(t)≥g(β)。
- 然而,如果我们直接取t∗=targming(t)作为β的估计,仍然会存在问题。实际上,t∗只需满足x⊤(t∗−β)=0即可(解得t∗=β+(I−x⊤x1xx⊤)z, z∈Rp×1)。
- 在此基础上,我们进一步考虑已知n个观测值(xi,Yi)的情形。对此,可以定义理论误差函数
gn(t)=i=1∑nE(Yi−xi⊤t)2=i=1∑nVar(ϵi)+i=1∑n(EYi−xi⊤t)2=nσ2+(t−β)⊤i=1∑nxixi⊤(t−β)=nσ2+(t−β)⊤X⊤X(t−β).
其中X=(x1,⋯,xn)⊤。可以证明,当X为列满秩矩阵,那么β就是gn(t)的唯一最小值点。
- 然而,由于参数β与σ2都未知,我们无法直接计算gn(t)的最小值。对此,我们考虑用下述经验误差函数代替:
n1g^n(t)=n1i=1∑n(Yi−xi⊤t)2=n1(Y−Xt)⊤(Y−Xt)=n1∥Y−Xt∥2,
这本质上是用样本均值估计期望。实际上,n1g^n(t)就是n1gn(t)的一个相合估计。
- 由此我们就能得到β的最小二乘估计:
β^LS=targming^n(t)=targmin(Y−Xt)⊤(Y−Xt)
而g^n(t)也被称为最小二乘准则。
需要注意的是,最小二乘估计只是一种基于观测数据的估计(拟合)方法,不能将其作为数据分析的最终目的。在现实中往往需要加上模型的先验知识或经验进一步处理。
- 下面我们进一步求解β^LS:
g^(t)0=(Y−Xt)⊤(Y−Xt)=Y⊤Y−2Y⊤Xt+t⊤X⊤Xt=∂t∂g^(t)=2X⊤Xt−2X⊤Y⟹X⊤Xt=X⊤Y.
最后得到的方程X⊤Xβ^LS=X⊤Y称作线性模型最小二乘估计的正规方程。
- 如果X列满秩(X⊤X可逆),那么可直接得到β^LS=(X⊤X)−1X⊤Y。
- 我们也可以从几何角度理解最小二乘估计:实际上,hatβLS就是Y在M(X)空间上的正交投影,即
Y−Xβ^LS⊥M(X)⟺X⊤(Y−Xβ^LS)=0⟺X⊤Xβ^LS=X⊤Y.
- 可以证明,上述正规方程一定有解(X⊤Y∈M(X⊤)=M(X⊤X))。不过当且仅当X⊤X可逆时解唯一。对于一般情形,我们可以定义下述投影矩阵
P=X(X⊤X)−X⊤
由前面的理论可知P与广义逆的选取无关,且为对称幂等、秩与X相同的矩阵。特别地,当X⊤X可逆时也称P为帽子矩阵。实际上,正交投影PY≜Y^就是最小二乘的拟合值。
在简单线性回归的应用
下面介绍最小二乘估计在简单线性回归模型中的应用:考虑
Y=1nβ0+Xβ1+ϵ其中X=(x1,⋯,xn)⊤∈Rn×1。为了方便矩阵求逆,对模型进行变形:
Y=1nβ0+P1nXβ1+N1nXβ1+ϵ=1nγ0+N1nXβ1+ϵ其中P1n表示投影到M(1n)的投影矩阵(P1nX得到均值向量),N1n=In−P1n。因此得到新截距γ0=β0+Xβ1,由此得到最小二乘估计
(γ^0β^1)=[(1n⊤(N1nX)⊤)(1nN1nX)]−1(1n⊤X⊤N1n)Y=(n00X⊤N1nX)−1(1n⊤X⊤N1n)Y=(Y(X⊤N1nX)−1X⊤N1nY)由此得到原始参数的最小二乘估计:
β^0β^1=Y−Xβ^1=(X⊤N1nX)−1X⊤N1nY=∑i=1n(xi−X)2∑i=1n(xi−X)(Yi−Y):=SxxSxy.这个结果与最佳线性预测的结果形式基本一致。
有时我们需要处理的样本维数很高,计算(X⊤X)−1比较困难;有时数据是以数据流的形式呈现(即在线学习)。对于这两种情形,可以考虑采用递归迭代的方式计算最小二乘估计。
- 具体而言,记An=(Xn⊤Xn)−1(n≥p),则迭代公式:
bnβ^n+1An+1=1+xn+1⊤Anxn+1Anxn+1=β^n+(yn+1−xn+1⊤β^n)bn=An−1+xn+1⊤Anxn+1Anxn+1xn+1⊤An=(Ip−bnxn+1)An.
其中第三个公式来源于Sherman-Morrison公式,它是Woodbury矩阵公式的特殊情形(具体请见练习题集)。
- 另一方面,当n足够大时,xn+1⊤Anxn+1→0,因此可以将第二个公式近似为
β^n+1=β^n+(yn+1−xn+1⊤β^n)Anxn+1
这实际上与随机梯度下降的参数更新公式形式类似:
β^n+1=β^n+αnxn+1(yn+1−xn+1⊤β^n),
研究证明,当∑n=1∞an=∞,∑n=1∞an2<∞时,上述迭代算法一定可以收敛到真实参数β。