一些基本的概念界定:
- 多元数据:从对象/观测中测量得到的若干独立变量
- 多元分析:从多元数据中提取信息
- 总体使用多元分布表示(需考虑多个变量间的交互关系)
- 对多元数据进行推断(参数估计/假设检验)时,一般假设其服从多元正态分布
- 多元分析一般要求样本量(记作n)多于变量个数(p)
多元统计方法主要包括数据可视化/独立性调查/假设检验/数据约减/预测/排序分组等。
一些符号约定:
- 多元数据采用矩阵X=x11x21⋮xn1x12x22⋮xn2⋯⋯⋱⋯x1px2p⋮xnp表示;【一行对应一个样本,一列对应一个变量(属性)】
- 用A,B,C,⋯表示常数矩阵,X,Y,Z表示随机变量矩阵(或观测数据),a,b,c,⋯表示常数向量,x,y,z表示随机向量,x,y,z表示随机变量。
- 样本均值向量x=x1x2⋮xp,样本(协)方差矩阵S=s11s21⋮sp1s12s22⋮sp2⋯⋯⋱⋯s1ps2p⋮spp,样本相关系数矩阵R=r11r21⋮rp1r12r22⋮rp2⋯⋯⋱⋯r1pr2p⋮rpp,其中
xk=n1j=1∑nxjk,skk=n1j=1∑n(xjk−xk)2,skl=n1j=1∑n(xjk−xk)(xjl−xl),rkl=skksllskl.
多元数据可视化方法:
- 边际分布
- 一维:直方图
- 二维:散点图
- 三维:散点图(带颜色)、散点图矩阵(如果有分类变量)
- 高维表示:雷达图(也称星形图)、Chernoff脸图(不常用)
多元数据的距离度量:
- 一般不直接采用欧氏距离,而采用统计距离(类似二次型,考虑协方差)
- 二维形式:d(O,P)=a11x12+2a12x1x2+a22x22
- 在计算距离前按需对数据进行标准化(考虑不同变量的重要性)
预备知识
多元统计分析的预备知识与线性模型基本重合,因此在线性模型Cheat Sheet中已经记录的内容这里就不再赘述,只补充未涉及的内容。
向量与矩阵代数
对于两个向量x=(x1,x2,⋯,xp)⊤,y=(y1,y2,⋯,yp)⊤,可定义下述概念:
- 内积:x⊤y=x1y1+⋯+xpyp
- 长度(范数):Lx=x12+⋯+xp2=x⊤x
- 余弦(相似度):cosθ=LxLyx⊤y
- x在y上的投影:
y⊤yx⊤y⋅y=Lyx⊤y⋅Lyy=Lxcos(θ)⋅Lyy
投影长度为Lx∣cos(θ)∣=Ly∣x⊤y∣。
二次型与统计距离
二次型标准形式:
Q=x⊤Ax=i=1∑pj=1∑paijxixj=[x1,x2,⋯,xp]a11a21⋮ap1a12a22⋮ap2⋯⋯⋱⋯a1pa2p⋮appx1x2⋮xp
- 取c=Q=x⊤Ax即可作为统计距离(前提是A为正定矩阵)。当p=2时,由A的谱分解可得:
A=λ1e1e1⊤+λ2e2e2⊤⟹x⊤Ax=λ1(x⊤e1)2+λ2(x⊤e2)2
其中e1和e2为标准正交矩阵列向量。再令y1=x⊤e1,y2=x⊤e2,则统计距离等高线可以表示为
c2=λ1y12+λ2y22
又因为λ1,λ2>0,因此这就是一个椭圆。
- p更高时就得到一个(超)椭球,其半长轴长度为λic,i=1,2,⋯,p。
矩阵不等式
- 柯西-施瓦茨不等式:对于任意 b,d∈Rp,Bp×p>0,
-
(b⊤d)2≤(b⊤b)(d⊤d)
取等号条件:b=cd,其中c为常数。
-
(b⊤d)2≤(b⊤Bb)(d⊤B−1d)
取等条件:b=cB−1d,其中c为常数;
-
maxx⊤Bx(x⊤d)2=d⊤B−1d
取得最大值条件:x=cB−1d,其中c为非零常数。
- 二次型不等式:设B∈Rp×p为正定矩阵,其特征值为λ1≥λ2≥⋯≥λp≥0,对应的归一化特征向量为e1,e2,⋯,ep。则
x=0maxx⊤xx⊤Bx=λ1,x=0minx⊤xx⊤Bx=λp
最大最小值分别在x=e1和x=ep时取得。
另有
x⊥e1,⋯,ekmaxx⊤xx⊤Bx=λk+1
最大值在x=ek+1,k=1,2,⋯,p−1时取得。
分块矩阵
考虑矩阵A∈Rk×k,其可以用分块矩阵(A11A21A12A22)表示,其中A11∈Rk1×k1,A22∈Rk2×k2,k1+k2=k。
-
另外定义矩阵的两个舒尔补(用逆矩阵表示时默认其可逆):
A11.2=A11−A12A22−1A21,A22.1=A22−A21A11−1A12.
-
由此可得到分块矩阵求逆公式:
- 若 A11−1和 A22.1−1存在,
A−1=(A11−1+A11−1A12A22.1−1A21A11−1−A22.1−1A21A11−1−A11−1A12A22.1−1A22.1−1)
- 如果 A22−1和 A11.2−1存在,
A−1=(A11.2−1−A22−1A21A11.2−1−A11.2−1A12A22−1A22−1+A22−1A21A11.2−1A12A22−1)
当然如果这四个逆都存在,那么A−1对角线对应位置的块矩阵相等。
当然,实际上A可求逆时A11−1和A22−1的逆不一定存在,如对角线块矩阵均为0。
-
当A为正定矩阵时,A11,A22,A22.1,A11.2均为正定矩阵。
-
分块矩阵行列式计算:对于A=(A11A21A12A22),
- 若A12=0或A21=0,则有∣A∣=∣A11∣⋅∣A22∣;
- 若A22可逆,则∣A∣=∣A22∣⋅∣A11.2∣;若A11可逆,则∣A∣=∣A11∣⋅∣A22.1∣。
随机向量与矩阵
- 协方差矩阵与相关系数矩阵的关系:设相关系数矩阵ρ=(ρij)p×p,V21=diag{σ11,⋯,σpp},则有Σ=V21ρV21。
- 随机向量的线性变换:设x为p维随机向量,C为k×p行满秩矩阵(k≤p),那么对于x的一个线性变换z=Cx:
- 均值向量:μz=Cμx;
- 协方差矩阵:Σz=CΣxC⊤。
样本几何与随机抽样
考虑多元数据矩阵X=x1⊤x2⊤⋮xn⊤,其可以看作Rp空间中的n个数据点。用x(p维向量)可以刻画数据点的中心,S(p×p矩阵)可以刻画数据点的变异。
-
当然,也可以将数据矩阵按列分割X=(y1:y2:⋯:yp),即Rn上的p个向量。
-
下面我们引入偏差向量:记1n=(1,1,⋯,1)⊤∈Rn×1,那么n1n可看作等角方向的单位向量。向量yi在n1n上的正交投影则为
(yi⊤n1n)⋅n1n=xi1n.
于是yi可进行如下正交分解:yi=xi1n+(yi−xi1n),其中yi−xi1n即为偏差向量,记作di。关于偏差向量,其几何性质如下:
- 偏差向量的长度Ldi2=di⊤di=j=1∑n(xji−xi)2;
- 偏差向量di与dk间的夹角余弦
cosθik=LdiLdkdi⊤dk=∑j=1n(xji−xi)2∑j=1n(xjk−xk)2∑j=1n(xji−xi)(xjk−xk)=siiskksik=rik
为原始数据列向量的相关系数。
因此样本协方差矩阵Sn完全可以由偏差向量(的内积)进行刻画。
-
关于样本均值和样本协方差矩阵的正式定义:设p维随机向量x∼f(x∣θ),分布满足E(x)=μ,Cov(x)=Σ。基于此分布进行简单随机抽样得到样本x1,⋯,xn∼i.i.d.f(x),其样本均值和样本协方差定义为
x=n1i=1∑nxi,S=n−11i=1∑n(xi−x)(xi−x)⊤
其满足下述性质:
E(x)=μ,Cov(x)=n1Σ,E(S)=Σ
-
基于样本协方差矩阵,进一步定义:
- 广义样本方差:∣S∣=i=1∏pλi
- 总样本方差:tr(S)=i=1∑pλi
不过这两个方差仍然不能完全替代协方差矩阵,因为其忽略了特征向量(方向)的信息。
- 广义样本方差的几何意义:
- 数据在Rn空间中的超平行四边体体积。具体而言,
∣S∣=(n−1)p1(超平行四边体的体积)2
这里的超平行四边体(p=2时即为平行四边形)由偏差向量构成。
- 数据在Rp空间中的超椭球体积。具体而言,由于S为对称正定矩阵,因此可沿用上述谱分解及二次型推导,得到
(x−x)⊤S−1(x−x)=c2
可以证明,这个超椭球的体积可表示为
∫{x:(x−x)⊤S−1(x−x)≤c2}dx=pΓ(p/2)2πp/2∣S∣1/2cp.
实际上,S的特征值决定了椭球的形状,而S的特征向量则决定了椭球的轴向。
-
那么什么条件下S会变为奇异矩阵(即rank(S)<p)呢?主要有下面两个充分条件:
- n≤p;
- X的列向量线性相关。
其证明需要构造S与X的关系。可以证明:
(n−1)S=(X−n11n1n⊤X)⊤(X−n11n1n⊤X)=X⊤(In−n11n1n⊤)X.
其中In−n11n1n⊤为秩n−1的幂等矩阵。
-
S与相关系数矩阵R的关系:记$
D1/2=s11s22⋱spp
则有S=D1/2RD1/2,R=D−1/2SD−1/2。
-
协方差矩阵的线性变换:设x1,x2,⋯,xn为随机样本。构造线性变换zi=Axi,其中A∈Rq×p。则有
z=Ax,Sz=ASxA⊤.
多元正态分布
同样,在线性模型Cheat Sheet中已经记录的内容不再赘述(虽然重复的应该不多)。
- 基于概率密度函数的定义:若p维随机向量x服从p维正态分布(记作x∼Np(μ,Σ),其中μ∈Rp,Σ为正定矩阵),则其概率密度函数为
fx(x∣μ,Σ)=(2π)p/2∣Σ∣1/21exp{−21(x−μ)⊤Σ−1(x−μ)},
- 基于标准正态分布的定义:对于均值向量为μ,协方差矩阵为Σ的随机向量x,则如果存在线性变换x=Az+μ(其中AA⊤=Σ,z为独立标准正态随机变量组成的随机向量),那么称x满足p维正态分布。
- 线性变换:若x∼Np(μ,Σ),那么对任意A∈Rq×p,有Ax+b∼Nq(Aμ+b,AΣA⊤)。
- 分块性质:考虑下述分块
x=(x(1)x(2))∈∈RqRp−q ,μ=(μ(1)μ(2)) ,Σ=(Σ11Σ21Σ12Σ22).
则有:
- 边际分布:x(1)∼Nq(μ(1),Σ11)【可用上述线性变换结论证明】
- 不相关与独立性等价:当Σ12=0时,x(1)与x(2)相互独立。
- 条件分布:给定x(2)时,x(1)的条件分布为Nq(μ1.2,Σ11.2),其中
μ1.2=μ(1)+Σ12Σ22−1(x(2)−μ(2)),Σ11.2=Σ11−Σ12Σ22−1Σ21.
其中B=Σ12Σ22−1∈Rq×(p−q)也称为x(1)关于x(2)回归系数矩阵,而μ1.2也称为回归函数。Σ11.2则称为偏协方差矩阵(由此也可得到偏相关系数)。
- 特征函数:Np(μ,Σ)分布的特征函数为
ϕx(t)=exp{iμ⊤t−21t⊤Σt}.
基于这个特征函数可以得到随机变量的任意矩:
E(j=1∏kxijhj)=∂(iti1)h1⋯∂(itik)hk∂ϕx(t)t=0.
- 二次型分布:若x∼Np(μ,Σ),Σ>0,则有(x−μ)⊤Σ−1(x−μ)∼χp2。
- 这里的(x−μ)⊤Σ−1(x−μ)实际上就是马氏距离的平方。
多元正态样本统计量
设x1,⋯,xn为Np(μ,Σ)分布的随机样本,则可以应用数理统计的相关知识:
- 极大似然估计:μ,Σ的极大似然估计分别为x和Sn=n1∑i=1n(xi−x)(xi−x)⊤。
证明
似然函数:
L(μ,Σ)=i=1∏nf(xi∣μ,Σ)=i=1∏n(2π)p/2∣Σ∣1/21exp{−21(xi−μ)⊤Σ−1(xi−μ)}=(2π)np/2∣Σ∣n/21exp[−21tr{Σ−1i=1∑n(xi−μ)(xi−μ)⊤}]其中最后一个等号因为指数是标量,所以可以引入迹。由此得到对数似然函数:
logL(μ,Σ)=−2nplog(2π)−2nlog∣Σ∣−21tr{Σ−1i=1∑n(xi−μ)(xi−μ)⊤}=−2nplog(2π)−2nlog∣Σ∣−21tr[Σ−1{A+n(x−μ)(x−μ)⊤}]=−2nplog(2π)−2nlog∣Σ∣−21trΣ−1A−2n(x−μ)⊤Σ−1(x−μ)≤−2nplog(2π)−2nlog∣Σ∣−21trΣ−1A=logL(x,Σ),其中A=(n−1)S=i=1∑n(xi−μ)(xi−μ)⊤。x=μ时取等号。
下面再对L(x,Σ)关于Σ最大化:
L(x,Σ)=−2nplog(2π)−2nlog∣Σ∣−21trΣ−1A=−2nplog(2π)−2n{log∣Σ∣+tr(Σ−1nA)+lognA−lognA}=−2nplog(2π)−2nlognA−2n{tr(Σ−1/2nAΣ−1/2)−logΣ−1/2nAΣ−1/2}≤−2nplog(2π)−2nlognA−2npΣ=nA时取等号。这里的不等号基于下述不等式:设
B∈Rp×p为正定矩阵,则$
tr(B)−log∣B∣≥p等号当且仅当B=Ip时取到。这可以用特征值证明:
tr(B)−p−log∣B∣=j=1∑p(λj−1−logλj)≥0等号当且仅当λj=1,对应B=Ip。
- 推论:μ⊤Σ−1μ的MLE是x⊤Sn−1x;σii的MLE是sii(sii的第(i,i)个元素)。
- 样本均值分布:x∼N(μ,n1Σ)
- 样本协方差的分布:定义A=(n−1)S=i=1∑n(xi−x)(xi−x)⊤,则
- 可以证明:当n>p时,P(S>0)=1,即S可逆概率为1。
- 另一方面,A=di=1∑n−1zizi⊤,其中zi∼i.i.dNp(0,Σ),此时A的分布被称为Wishart分布,记为A∼W(n−1,Σ)【分布密度函数略,其形式类似卡方分布】
- x与S相互独立(证明见线性模型)
- 多元中心极限定理:n(x−μ)LN(0,Σ)(n→∞)
- 马氏距离渐近分布:n(x−μ)⊤S−1(x−μ)Lχp2(n→∞)
- 样本相关系数(二维情形):因为协方差矩阵Σ=(σ12ρσ1σ2ρσ1σ2σ22),因此样本相关系数定义为r=a11a22a12,其中
a11=k=1∑n(xk1−x1)2,a22=k=1∑n(xk2−x2)2,a12=k=1∑n(xk1−x1)(xk2−x2)
当ρ=0时,n−21−r2r∼tn−2;
- 渐近正态性:1−ρ2n(r−ρ)LN(0,1)
- Fisher z-变换:记z(x)=21log1−x1+x,则n{z(r)−z(ρ)}N(0,1)
均值推断
可以看作是一元随机变量均值推断的扩展,目标是对μ=(μ1,⋯,μp)⊤进行参数估计与假设检验(假设总体服从多元正态分布)。推断的关键是对观测值y进行联合分析。
HoTelling T2 检验
回顾一元随机变量均值的t检验:H0:μ=μ0vsH1:μ=μ0,使用的检验统计量为
t=nsx−μ0∼H0t(n−1)
当∣t∣≥t2α(n−1)时拒绝H0。同时得到μ的1−α置信区间:
[x−t2α(n−1)ns,x+t2α(n−1)ns]
下面我们将假设检验判定条件两边取平方:
t2=(x−μ0)(ns2)−1(x−μ0)>t2α2(n−1)
基于此可以推广到多元随机变量的均值检验,即HoTelling T2检验。其假设为:
H0:μ=μ0vsH1:μ=μ0
构造HoTelling T2统计量:
T2=(x−μ0)⊤(nS)−1(x−μ0)=n(x−μ0)⊤S−1(x−μ0)∼H0T2(p,n−1)=n−p(n−1)pF(p,n−p)
当T2>n−p(n−1)pFα(p,n−p)时拒绝H0。
- 下面对T2统计量进行详细研究:实际上,T2统计量的分布可以表示为
Tp,n−12=Np(0,Σ)⊤[n−11Wp,n−1(Σ)]−1Np(0,Σ)
而Wishart分布可看作卡方分布的多元推广,所以T2统计量的本质就是一元t统计量平方的推广。
另一方面,T2的表达式也可以看作是一种x到μ0的马氏距离,假设检验中这个距离过大时就拒绝H0。
- T2统计量还具有仿射不变性。具体而言,对于非奇异的Cp×p和b∈Rp,令y=Cx+b,那么
H0(x):μ=μ0⟺H0(y):μy=Cμ0+b
且Tx2=Ty2。
- HoTelling T2 检验是似然比检验。
证明
上面已推导得出
L(μ,Σ)=(2π)np/2∣Σ∣n/21exp[−21tr{Σ−1i=1∑n(xi−μ)(xi−μ)⊤}]以及它的最大值
μ∈Rp,Σ>0maxL(μ,Σ)=(2π)np/2∣Σ∣n/2e−np/2,对应μ=x,Σ=nA。而在H0条件下,
H0maxL(μ,Σ)=maxL(μ0,Σ0)=(2π)np/2∣Σ0∣n/2e−np/2其中Σ0=n1i=1∑n(xi−μ0)(xi−μ0)⊤。于是设似然比为Λ,那么
Λn2=∣nΣ0∣∣nΣ∣=∣A+[n(x−μ0)][n(x−μ0)]⊤∣∣A∣=(1+n−1T2)−1.由此得证。
置信域与同时置信区间
- 置信域的定义:参数θ的1−α置信域R(X)满足P(θ∈R(X))=1−α。
- 由此我们可以定义上述μ的1−α置信域:
{μ:n(x−μ)⊤S−1(x−μ)≤n−pp(n−1)Fp,n−p(α)}
这是一个以x为中心的一个椭球。
- 下面我们尝试寻找同时置信区间{[Lj,Uj]:j=1,⋯,p}使得P(Lj<μj<Uj,j=1,⋯,p)=1−α:
- 首先考虑线性变换a⊤μ的置信区间(a∈Rp)。设z=a⊤x中简单随机抽样得到样本z1,⋯,zn,则z=a⊤x,sz2=a⊤Sa。那么
t=szn(z−μz)=a⊤San(a⊤x−a⊤μ)∼tn−1.
因此对于给定a,a⊤μ的1−α置信区间为
[z−tn−1(2α)nsz, z+tn−1(2α)nsz]
或
[a⊤x−tn−1(2α)na⊤Sa, a⊤x+tn−1(2α)na⊤Sa].
- 若直接取a=ej(标准基向量),那么就能得到每个μj的1−α置信区间
[xj−tn−1(2α)nsjj, xj+tn−1(2α)nsjj].
然而将这p个置信区间直接取交集,得到的置信水平会小于1−α。特别地,当xj相互独立时,置信水平为(1−α)p<1−α。【也就是得到的置信区间不够宽】
- 那么如何解决这个问题?主要有下述两种方法(两位统计学家的名字在试验设计中也有出现):
- Scheffé方法
这一方法实际上将原有的同时置信区间问题进行了推广,即找到一个上界c使得P(a⊤San(a⊤x−a⊤μ)2≤c2,∀a)≥1−α成立。对此,我们可以使用上面矩阵不等式得到
a=0maxa⊤San{a⊤(x−μ)}2=n(x−μ)⊤S−1(x−μ)=T2.
于是只需要取c2=Tα2(p,n−1)=n−p(n−1)pFα(p,n−p)即可。
- 因此对于a⊤μ和每个μj的1−α置信区间,只需要将上面置信区间的tn−1(2α)改为Tα2(p,n−1)即可。
实际上,我们可以构造μj任意线性组合的1−α置信区间,这都可以看作置信域椭球的变换投影。
- Bonferroni方法
这一方法主要基于下述不等式:
P(∩j=1mCj)=1−P(∪j=1mCjc)≥1−j=1∑mP(Cjc)=1−j=1∑mαj.
其中Cj表示置信区间包含aj⊤μ这一事件。由此,当我们取αj=mα和aj=ej,那么得到的同时置信区间
xj±tn−1(2mα)nSjj,j=1,⋯,p
的置信水平就至少为1−α。这个置信区间通常比Scheffé方法得到的置信区间更窄。
大样本均值推断
有时总体不一定服从多元正态分布。在这种情况下,当n足够大时,因为样本协方差矩阵S趋向总体协方差矩阵Σ,因此
T2=n(x−μ)⊤S−1(x−μ)dn(x−μ)⊤Σ−1(x−μ)∼χp2.
于是假设检验时判定拒绝原假设就可以用n(x−μ0)⊤S−1(x−μ0)>χp2(α),而μ的1−α置信域则可近似表示为
{μ:n(x−μ)⊤S−1(x−μ)<χp2(α)}
- 另一方面,利用Tp2分布近似χp2,也可以得到a⊤μ的近似1−α置信区间(对应Scheffé方法):
a⊤x±χp2(α)na⊤Sa
从而得到μ1,⋯,μp的1−α近似置信区间xj±χp2(α)nSjj,j=1,2,⋯,p。
- 而对于Bonferroni方法,当n足够大时(相对p而言),上述置信区间里的t分布可以替换为标准正态分布也能达到近似。
缺失值处理
有时样本的观测值中会存在部分缺失(这在问卷调查中特别常见),这会对样本均值的估计产生阻碍。这里我们假定数据的缺失是一种随机缺失,即缺失概率不受变量值的影响。
- 处理这种缺失值的一种方法是直接利用已有的数据使用条件概率密度函数构造似然函数然后做MLE,不过这样得到的似然函数往往难以直接求导计算。
- 因此,一种更有效的方法是采用EM算法进行迭代估计。具体而言,考虑下述两个充分统计量
T1=i=1∑nxi,T2=i=1∑nxixi⊤
如果是完全数据,那么MLE即为μ^=nT1,Σ^=nT2−n2T1T1⊤。下面假设数据xi=(xi(1)xi(2)),i=1,⋯,n,其中xi(1)为缺失数据。EM算法的流程如下:
- 确定初始值μ^0和Σ^0(可以通过将缺失值用观测值平均填充后得到)
- E步:
xi(1)xi(1)xi(1)⊤xi(1)xi(2)⊤=E(xi(1)∣xi(2);μ^k−1,Σ^k−1)=E(xi(1)xi(1)⊤∣xi(2);μ^k−1,Σ^k−1)=E(xi(1)xi(2)⊤∣xi(2);μ^k−1,Σ^k−1)=xi(1)xi(2)⊤
- M步(MLE):
μ^k=nT1,k,Σ^k=n1(T2,k−n1T1,kT1,k⊤)
可以证明在合适的初值条件下,k→∞时μ^k→μ^,Σ^k→Σ^。
多元方差分析
这实际上可以看作试验设计里方差分析在多元的推广,许多概念都是相通的。
这里我们主要检验的假设:H0:μ1=⋯=μkvsH1:not H0
配对检验
首先考虑k=2的情形,此时两组样本往往是经过配对的(如同一处理前后两次观测,或匹配组设计,常见于临床试验等个体间可能差异很大的场景中)。此时采用配对检验相比普通的检验可以减少样本方差,并缓解个体间差异带来的影响。
- 设xp×1(1)和xp×1(2)是来自配对个体的一组随机变量,定义d=x(1)−x(2),并假设其服从Np(δ,Σd),其中δ表示总体差值均值向量。
- 另假设d1,⋯dn∼i.i.d.d,需要检验的假设
H0:δ=0vsH1:δ=0
这样就转化为单样本均值检验,对应的检验统计量
T2=nd⊤Sd−1d>Tp,n−12(α)=n−p(n−1)pFp,n−p(α).
相应地,置信域与同时置信区间(T2 + Bonferroni)分别为
{δdjdj:n(d−δ)⊤Sd−1(d−δ)≤Tp,n−12(α)}±Tp,n−12(α)nsdj2j=1,2,⋯,p±tn−1,2pαnSdj2j=1,2,⋯,p.
当然,当n−p和n都足够大时,Tp,n−12(α)→χp2(α), tn−1,2pα→z2pα。
- 为了与后续重复测量设计统一,我们可以考虑用线性变换表示d和Sd。令
x=(x(1)x(2))2p×1,Cp×2p=(Ip:−Ip).
那么有di=Cxi,d=Cx,Sd=CSxC⊤,于是有
T2=n(Cx)⊤(CSxC⊤)−1(Cx).
重复测量设计
考虑对n个个体进行重复测量试验,每个个体在q个时间点被观测。设xij为第i个个体在第j个时间点的响应值,其中i=1,⋯,n,j=1,⋯,q。【这也被称为纵向数据】
- 记第i个个体的观测向量为xi=(xi1,⋯,xiq)⊤,令E(xi)=μ=(μ1,⋯,μq)⊤,其中μj是第j个时间点的总体均值。我们关心的是检验假设:
H0:μ1=⋯=μqvsH1:μj=μk, ∃j=k.
假设各观测向量x1,⋯,xn独立同分布,且xi∼Nq(μ,Σ),其中Σ是q×q的未知协方差矩阵。
- 下面我们对原假设进行等价转换:
H0:μ1−μ2⋮μ1−μq=0⟹H0:C1μ=0
其中C1=111−1000−10⋯⋯⋯00−1=(1q−1:−Iq−1)。实际上,这里的矩阵C1可以推广到任意矩阵C∈R(q−1)×q,只要满足C1=0且行满秩即可,此时C也称为对照矩阵【和试验设计里的对照概念本质相同】。于是可以得到拒绝域、Cμ置信域和c⊤μ同时置信区间:
T2{Cμc⊤x=nx⊤C⊤(CSC⊤)−1Cx>Tq−1,n−12(α):n(Cx−Cμ)⊤(CSC⊤)−1(Cx−Cμ)<Tq−1,n−12(α)}±Tq−1,n−12(α)nc⊤Sc
- 当然,上述检验只适用于Σ正定且没有特殊结构的前提下(否则检验功效会降低);另一方面,矩阵C的行数可以是任意小于q的值,只需包含希望检验的均值即可。【自由度也会相应变化】
两独立样本检验
考虑两组相互独立的随机变量
x11,⋯,x1n1∼i.i.dNp(μ1,Σ),x21,⋯,x2n2∼i.i.dNp(μ2,Σ)
关注的检验假设:
H0:μ1−μ2=δ0vsH1:μ1−μ2=δ0
其中δ0为已知常数向量。
-
μ1−μ2的MLE为x1−x2,方差Var(x1−x2)=(n11+n21)Σ$
-
Σ的无偏估计:Spooled=n1+n2−2(n1−1)S1+(n2−1)S2=n1+n2−2A1+A2【A1+A2∼Wp(Σ,n1+n2−2)】$
-
对上述假设的检验(似然比检验):
T2=n1+n2n1n2(x1−x2−δ0)⊤Spooled−1(x1−x2−δ0)>Tp,n1+n2−22(α).
-
μ1−μ2的置信域:$
n1+n2n1n2{x1−x2−(μ1−μ2)}⊤Spooled−1{x1−x2−(μ1−μ2)}<Tp,n1+n2−22(α).
-
a⊤(μ1−μ2)的T2同时置信区间:$
a⊤(x1−x2)±Tp,n1+n2−22(α)⋅(n11+n21)a⊤Spooleda
这同样基于上述矩阵不等式变体:
a=0max(n11+n21)a⊤Spooleda[a⊤{x1−x2−(μ1−μ2)}]2=T2
等号条件:a^∝Spooled−1(x1−x2)。
-
Bonferroni同时置信区间(考虑μ1i−μ2i,i=1,⋯,p):
x1i−x2i±tn1+n2−2(2mα)n1n2n1+n2sii
-
当然,现实中也可能出现Σ1=Σ2(即两总体协方差不等)的情形,这也被称为(多元)Behrens-Fisher问题。
- 这里不详细展开(比较复杂),只讨论大样本情形:用n1S1+n2S2估计Var(x1−x2),然后用卡方分布近似T2分布即可。
- 由此可见,在进行上述检验之前最好先检验两总体(协)方差是否相等
One-Way MANOVA
一元单因素方差分析请参见试验设计 Cheat Sheet,思路是类似的。
假设xlj∼indepNp(μl,Σ),j=1,⋯,nl,l=1,⋯,g(g个处理,每个处理nl个样本,每个样本p个观测值,一般按时间点记录),那么可以建立效应模型
xlj=μ+τl+ϵij
其中μ为总均值,τl为第l个处理效应,ϵij为随机误差,服从Np(0,Σ)。检验假设:
H0:μ1=⋯=μg⟹H0:τ1=⋯=τg=0
-
构造MANOVA表:
| SS (平方和矩阵) |
d.f. (自由度) |
| B=l=1∑gnl(xl−x)(xl−x)⊤ |
g−1 |
| W=l=1∑gj=1∑nl(xlj−xl)(xlj−xl)⊤ |
n−g |
| T=B+W=l=1∑gj=1∑nl(xlj−x)(xlj−x)⊤ |
n−1 |
其中n=l=1∑gnl。由此可以得到检验统计量:
Wilks’ Λ=∣T∣∣W∣∼H0Λp,g−1,n−g.
当Λ<Λp,g−1,n−g(α)时拒绝H0。(Wilks’ Λ分布在p,g满足一定条件下可以转换为F分布)
- 当n足够大时,可采用下述Bartlett修正:
−(n−1−2p+g)logΛLχp(g−1)2.
-
下面考虑μkj−μlj,j=1,⋯,p, 1≤l<k≤g的Bonferroni同时置信区间:MLE为xkj−xlj,其满足
Var(xkj−xlj)=(nk1+nl1)σjj
又因为Σ^=n−gW⟹σ^jj=n−gwjj,一共有m=2pg(g−1)个均值差组合,因此SCI为
xkj−xlj±tn−g(2mα)(nk1+nl1)n−gwjj.
Two-Way MANOVA
在试验设计的RCBD里我们已经接触到双因素方差分析,这里我们再将其推广到多元情形。
设xlkr∼indepNp(μlk,Σ),l=1,⋯,g, k=1,⋯,b, r=1,2,⋯,n,其效应模型对应为
xlkr=μ+τl+βk+γlk+ϵlkr,
其中l=1∑gτl=k=1∑bβk=l=1∑gγlk=k=1∑bγlk=0,τl,βk和γlk分别代表两个因素的主效应和交互效应。
-
首先考虑交互效应假设的检验:H01:γlk=0, ∀l,kvsH1:Not H01,如果不拒绝原假设,那么再检验两个主效应假设:
H02H03:τl=0 ∀lvsH12:Not H02,:βk=0 ∀kvsH13:Not H03,
-
平方和分解(从上到下分别为因素1平方和、因素2平方和、交互平方和与残差平方和)及在原假设下服从的分布:
SSPfac1SSPfac2SSPintSSPres=l=1∑gbn(xl⋅−x)(xl⋅−x)⊤∼Wp(g−1,Σ),=k=1∑bgn(x⋅k−x)(x⋅k−x)⊤∼Wp(b−1,Σ),=l=1∑gk=1∑bn(xlk−xl⋅−x⋅k+x)(xlk−xl⋅−x⋅k+x)⊤∼Wp((g−1)(b−1),Σ),=l=1∑gk=1∑br=1∑n(xlkr−xlk⋅)(xlkr−xlk⋅)⊤∼Wp(gb(n−1),Σ)
由此得到上述三个检验的统计量与拒绝域:
ΛintΛfac1Λfac2=∣SSPint+SSPres∣∣SSPres∣=dΛp((g−1)(b−1),gb(n−1)),=∣SSPfac1+SSPres∣∣SSPres∣=dΛp((g−1),gb(n−1)),=∣SSPfac2+SSPres∣∣SSPres∣=dΛp((b−1),gb(n−1)).
这里的分布在nbg足够大时可用−(m2−2p+1−m1)lnΛp(m1,m2)∼⋅χpm12近似。
-
Bonferroni同时置信区间(假设H01成立):
- τl−τm(m<l):xl⋅i−xm⋅i±tgb(n−1)(pg(g−1)α)gb(n−1)Eii⋅bn2,i=1,⋯,p【Eii是SSPres的第i个对角线元素,下同】
- βk−βq(q<k):x⋅ki−x⋅qi±tgb(n−1)(pb(b−1)α)gb(n−1)Eii⋅gn2,i=1,⋯,p
当然如果拒绝H01,就只能固定一个因素固定水平下,计算另外一个因素两水平差异SCI。
轮廓分析
同样考虑xlj∼indepNp(μl,Σ),j=1,⋯,nl,l=1,⋯,g,那么对每个处理l,其均值向量μl=(μl1,μl2,⋯,μlp)⊤各分量可以按序用折线连接,得到一张折线图(也被称为均值轮廓)。对于均值轮廓,我们可以提出下述检验问题:
- 不同处理的均值轮廓是否平行(相似)?这本质是检验是否有时间-处理交互作用;
- 如果不同处理均值轮廓平行,那么它们是否重合?即检验是否有处理效应;
- 如果不同处理均值轮廓平行,那么它们是否水平?即检验是否有时间效应。
后两个假设可以在第一个假设不被拒绝时同时进行检验。下面我们对这些假设进行形式化:
- EQ(重合且水平):H0:μ1=⋯=μp(没有任何时间/处理/交互效应,退化为一个点)
- PR(平行):H0:μx,i−μx,i−1=μy,i−μy,i−1i=2,⋯,p
- LE(重合):H0:μx,i=μy,i,i=1,⋯,p
- FL(水平):H0:μx,1=μx,2=⋯=μx,p,μy,1=μy,2=⋯=μy,p
检验顺序一般为:是否平行(H01)⟹是否重合(H02)⟹是否水平(H03)。具体的检验统计量如下:
- H01等价形式:H01:Cμ1=Cμ2,其中C(p−1)×p=−10⋮01−1⋮001⋮000⋮0⋯⋯⋱⋯00⋮−100⋮1。检验统计量与拒绝域:
T2=(x1−x2)⊤C⊤[(n11+n21)CSpooledC⊤]−1C(x1−x2)>n1+n2−p(n1+n2−2)(p−1)Fp−1,n1+n2−p(α)
- H02等价形式:H02:1⊤μ1=1⊤μ2。检验统计量与拒绝域:
T2=1⊤(x1−x2)[(n11+n21)1⊤Spooled1]−11⊤(x1−x2)=(n11+n21)1⊤Spooled11⊤(x1−x2)2>tn1+n2−22(2α)=F1,n1+n2−2(α)
- H03等价形式:Cμ=0。检验统计量与拒绝域:
(n1+n2)x⊤C⊤[CSC⊤]−1Cx>n1+n2−p+1(n1+n2−1)(p−1)Fp−1,n1+n2−p+1(α)