一些基本的概念界定:

  • 多元数据:从对象/观测中测量得到的若干独立变量
  • 多元分析:从多元数据中提取信息
  • 总体使用多元分布表示(需考虑多个变量间的交互关系)
  • 对多元数据进行推断(参数估计/假设检验)时,一般假设其服从多元正态分布
  • 多元分析一般要求样本量(记作nn)多于变量个数(pp)

多元统计方法主要包括数据可视化/独立性调查/假设检验/数据约减/预测/排序分组等。

一些符号约定:

  • 多元数据采用矩阵X=(x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xn1xn2⋯xnp)X=\begin{pmatrix}x_{11}&x_{12}&\cdots&x_{1p}\\x_{21}&x_{22}&\cdots&x_{2p}\\\vdots&\vdots&\ddots&\vdots\\x_{n1}&x_{n2}&\cdots&x_{np}\end{pmatrix}表示;【一行对应一个样本,一列对应一个变量(属性)】
  • 用A,B,C,⋯A,B,C,\cdots表示常数矩阵,X,Y,ZX,Y,Z表示随机变量矩阵(或观测数据),a,b,c,⋯\mathbf{a},\mathbf{b},\mathbf{c},\cdots表示常数向量,x,y,z\mathbf{x},\mathbf{y},\mathbf{z}表示随机向量,x,y,zx,y,z表示随机变量。
  • 样本均值向量x‾=(x‾1x‾2⋮x‾p)\overline{x}=\begin{pmatrix}\overline{x}_1\\\overline{x}_2\\\vdots\\\overline{x}_p\end{pmatrix},样本(协)方差矩阵S=(s11s12⋯s1ps21s22⋯s2p⋮⋮⋱⋮sp1sp2⋯spp)S=\begin{pmatrix}s_{11}&s_{12}&\cdots&s_{1p}\\s_{21}&s_{22}&\cdots&s_{2p}\\\vdots&\vdots&\ddots&\vdots\\s_{p1}&s_{p2}&\cdots&s_{pp}\end{pmatrix},样本相关系数矩阵R=(r11r12⋯r1pr21r22⋯r2p⋮⋮⋱⋮rp1rp2⋯rpp)R=\begin{pmatrix}r_{11}&r_{12}&\cdots&r_{1p}\\r_{21}&r_{22}&\cdots&r_{2p}\\\vdots&\vdots&\ddots&\vdots\\r_{p1}&r_{p2}&\cdots&r_{pp}\end{pmatrix},其中 x‾k=1n∑j=1nxjk,skk=1n∑j=1n(xjk−x‾k)2,skl=1n∑j=1n(xjk−x‾k)(xjl−x‾l),rkl=sklskksll.\overline{x}_k = \frac1n\sum_{j=1}^n x_{jk}, \quad s_{kk} = \frac1n\sum_{j=1}^n (x_{jk} - \overline{x}_k)^2, \quad s_{kl} = \frac1n\sum_{j=1}^n (x_{jk} - \overline{x}_k)(x_{jl} - \overline{x}_l), \quad r_{kl} = \frac{s_{kl}}{\sqrt{s_{kk} s_{ll}}}.

多元数据可视化方法:

  1. 边际分布
    • 一维:直方图
    • 二维:散点图
    • 三维:散点图(带颜色)、散点图矩阵(如果有分类变量)
  2. 高维表示:雷达图(也称星形图)、Chernoff脸图(不常用)

多元数据的距离度量:

  • 一般不直接采用欧氏距离,而采用统计距离(类似二次型,考虑协方差)
  • 二维形式:d(O,P)=a11x12+2a12x1x2+a22x22d(O,P)=\sqrt{a_{11}x_{1}^2+2a_{12}x_1x_2+a_{22}x_2^2}
  • 在计算距离前按需对数据进行标准化(考虑不同变量的重要性)

预备知识

多元统计分析的预备知识与线性模型基本重合,因此在线性模型Cheat Sheet中已经记录的内容这里就不再赘述,只补充未涉及的内容。

向量与矩阵代数

对于两个向量x=(x1,x2,⋯ ,xp)⊤,y=(y1,y2,⋯ ,yp)⊤\mathbf{x}=(x_1,x_2,\cdots,x_p)^\top,\mathbf{y}=(y_1,y_2,\cdots,y_p)^\top,可定义下述概念:

  • 内积:x⊤y=x1y1+⋯+xpyp\mathbf{x}^\top\mathbf{y}=x_1y_1+\cdots+x_py_p
  • 长度(范数):Lx=x12+⋯+xp2=x⊤xL_x=\sqrt{x_1^2+\cdots+x_p^2}=\sqrt{\mathbf{x}^\top\mathbf{x}}
  • 余弦(相似度):cos⁡θ=x⊤yLxLy\cos\theta=\dfrac{\mathbf{x}^\top\mathbf{y}}{L_xL_y}
  • x\mathbf{x}在y\mathbf{y}上的投影: x⊤yy⊤y⋅y=x⊤yLy⋅yLy=Lxcos⁡(θ)⋅yLy\frac{\mathbf{x}^\top \mathbf{y}}{\mathbf{y}^\top \mathbf{y}} \cdot \mathbf{y} = \frac{\mathbf{x}^\top \mathbf{y}}{L_y} \cdot \frac{\mathbf{y}}{L_y} = L_x \cos(\theta) \cdot \frac{\mathbf{y}}{L_y} 投影长度为Lx∣cos⁡(θ)∣=∣x⊤y∣LyL_x |\cos(\theta)|=\dfrac{|\mathbf{x}^\top\mathbf{y}|}{L_y}。

二次型与统计距离

二次型标准形式:

Q=x⊤Ax=∑i=1p∑j=1paijxixj=[x1,x2,⋯ ,xp][a11a12⋯a1pa21a22⋯a2p⋮⋮⋱⋮ap1ap2⋯app][x1x2⋮xp]Q = \mathbf{x}^\top A\mathbf{x}=\sum_{i=1}^p\sum_{j=1}^pa_{ij}x_ix_j =\begin{bmatrix}x_1, x_2, \cdots, x_p\end{bmatrix} \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1p} \\ a_{21} & a_{22} & \cdots & a_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ a_{p1} & a_{p2} & \cdots & a_{pp} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_p \end{bmatrix}
  • 取c=Q=x⊤Axc=\sqrt{Q}=\sqrt{\mathbf{x}^\top A\mathbf{x}}即可作为统计距离(前提是AA为正定矩阵)。当p=2p=2时,由AA的谱分解可得: A=λ1e1e1⊤+λ2e2e2⊤⟹x⊤Ax=λ1(x⊤e1)2+λ2(x⊤e2)2A=\lambda_1\mathbf{e}_1\mathbf{e}_1^\top+\lambda_2\mathbf{e}_2\mathbf{e}_2^\top\Longrightarrow \mathbf{x}^\top A\mathbf{x}=\lambda_1(\mathbf{x}^\top\mathbf{e}_1)^2+\lambda_2(\mathbf{x}^\top\mathbf{e}_2)^2 其中e1\mathbf{e}_1和e2\mathbf{e}_2为标准正交矩阵列向量。再令y1=x⊤e1,y2=x⊤e2y_1=\mathbf{x}^\top\mathbf{e}_1,y_2=\mathbf{x}^\top\mathbf{e}_2,则统计距离等高线可以表示为 c2=λ1y12+λ2y22c^2=\lambda_1y_1^2+\lambda_2y_2^2 又因为λ1,λ2>0\lambda_1,\lambda_2>0,因此这就是一个椭圆。
    • pp更高时就得到一个(超)椭球,其半长轴长度为cλi,i=1,2,⋯ ,p\dfrac{c}{\sqrt{\lambda_i}},i=1,2,\cdots,p。

矩阵不等式

  1. 柯西-施瓦茨不等式:对于任意 b,d∈Rp\mathbf{b}, \mathbf{d} \in \mathbb{R}^p,Bp×p>0B_{p \times p} > 0,
    1. (b⊤d)2≤(b⊤b)(d⊤d)(\mathbf{b}^\top\mathbf{d})^2 \leq (\mathbf{b}^\top\mathbf{b})(\mathbf{d}^\top\mathbf{d}) 取等号条件:b=cd\mathbf{b} = c\mathbf{d},其中cc为常数。
    2. (b⊤d)2≤(b⊤Bb)(d⊤B−1d)(\mathbf{b}^\top\mathbf{d})^2 \leq (\mathbf{b}^\top B\mathbf{b})(\mathbf{d}^\top B^{-1}\mathbf{d}) 取等条件:b=cB−1d\mathbf{b} = cB^{-1}\mathbf{d},其中cc为常数;
    3. max⁡(x⊤d)2x⊤Bx=d⊤B−1d\max \frac{(\mathbf{x}^\top\mathbf{d})^2}{\mathbf{x}^\top B\mathbf{x}} = \mathbf{d}^\top B^{-1}\mathbf{d} 取得最大值条件:x=cB−1d\mathbf{x} = cB^{-1}\mathbf{d},其中cc为非零常数。
  2. 二次型不等式:设B∈Rp×p B\in\R^{p\times p}为正定矩阵,其特征值为λ1≥λ2≥⋯≥λp≥0\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0,对应的归一化特征向量为e1,e2,⋯ ,ep\mathbf{e}_1, \mathbf{e}_2, \cdots, \mathbf{e}_p。则 max⁡x≠0x⊤Bxx⊤x=λ1,min⁡x≠0x⊤Bxx⊤x=λp\max_{\mathbf{x} \neq 0} \frac{\mathbf{x}^\top B\mathbf{x}}{\mathbf{x}^\top\mathbf{x}} = \lambda_1,\quad \min_{\mathbf{x} \neq 0} \frac{\mathbf{x}^\top B\mathbf{x}}{\mathbf{x}^\top\mathbf{x}} = \lambda_p 最大最小值分别在x=e1\mathbf{x} = \mathbf{e}_1和x=ep\mathbf{x} = \mathbf{e}_p时取得。
    另有 max⁡x⊥e1,⋯ ,ekx⊤Bxx⊤x=λk+1\max_{\mathbf{x} \perp \mathbf{e}_1, \cdots, \mathbf{e}_k} \frac{\mathbf{x}^\top B\mathbf{x}}{\mathbf{x}^\top\mathbf{x}} = \lambda_{k+1} 最大值在x=ek+1,k=1,2,⋯ ,p−1\mathbf{x} = \mathbf{e}_{k+1}, k = 1, 2, \cdots, p - 1时取得。

分块矩阵

考虑矩阵A∈Rk×kA\in\R^{k\times k},其可以用分块矩阵(A11A12A21A22)\begin{pmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{pmatrix}表示,其中A11∈Rk1×k1,A22∈Rk2×k2,k1+k2=kA_{11}\in\R^{k_1\times k_1},A_{22}\in\R^{k_2\times k_2},k_1+k_2=k。

  • 另外定义矩阵的两个舒尔补(用逆矩阵表示时默认其可逆):

    A11.2=A11−A12A22−1A21,A22.1=A22−A21A11−1A12.A_{11.2}=A_{11}-A_{12}A_{22}^{-1}A_{21},\quad A_{22.1}=A_{22}-A_{21}A_{11}^{-1}A_{12}.
  • 由此可得到分块矩阵求逆公式:

    • 若 A11−1A_{11}^{-1} 和 A22.1−1A_{22.1}^{-1} 存在, A−1=(A11−1+A11−1A12A22.1−1A21A11−1−A11−1A12A22.1−1−A22.1−1A21A11−1A22.1−1)A^{-1}=\begin{pmatrix} A_{11}^{-1} + A_{11}^{-1}A_{12}A_{22.1}^{-1}A_{21}A_{11}^{-1} & -A_{11}^{-1}A_{12}A_{22.1}^{-1} \\[5pt] -A_{22.1}^{-1}A_{21}A_{11}^{-1} & A_{22.1}^{-1} \end{pmatrix}
    • 如果 A22−1A_{22}^{-1} 和 A11.2−1A_{11.2}^{-1} 存在, A−1=(A11.2−1−A11.2−1A12A22−1−A22−1A21A11.2−1A22−1+A22−1A21A11.2−1A12A22−1)A^{-1}=\begin{pmatrix} A_{11.2}^{-1} & -A_{11.2}^{-1}A_{12}A_{22}^{-1} \\[5pt] -A_{22}^{-1}A_{21}A_{11.2}^{-1} & A_{22}^{-1} + A_{22}^{-1}A_{21}A_{11.2}^{-1}A_{12}A_{22}^{-1} \end{pmatrix}

    当然如果这四个逆都存在,那么A−1A^{-1}对角线对应位置的块矩阵相等。

    当然,实际上AA可求逆时A11−1A_{11}^{-1}和A22−1A_{22}^{-1}的逆不一定存在,如对角线块矩阵均为0\mathbf{0}。

  • 当AA为正定矩阵时,A11,A22,A22.1,A11.2A_{11},A_{22},A_{22.1},A_{11.2}均为正定矩阵。

  • 分块矩阵行列式计算:对于A=(A11A12A21A22)A=\begin{pmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{pmatrix},

    • 若A12=0A_{12}=\mathbf{0}或A21=0A_{21}=\mathbf{0},则有∣A∣=∣A11∣⋅∣A22∣|A|=|A_{11} |\cdot|A_{22}|;
    • 若A22A_{22}可逆,则∣A∣=∣A22∣⋅∣A11.2∣|A|=|A_{22} |\cdot|A_{11.2}|;若A11A_{11}可逆,则∣A∣=∣A11∣⋅∣A22.1∣|A|=|A_{11} |\cdot|A_{22.1}|。

随机向量与矩阵

  • 协方差矩阵与相关系数矩阵的关系:设相关系数矩阵ρ=(ρij)p×p\boldsymbol{\rho}=(\rho_{ij})_{p\times p},V12=diag{σ11,⋯ ,σpp}V^{\frac12}=\text{diag}\{\sqrt{\sigma_{11}},\cdots,\sqrt{\sigma_{pp}}\},则有Σ=V12ρV12\Sigma=V^{\frac12}\boldsymbol{\rho}V^{\frac12}。
  • 随机向量的线性变换:设x\mathbf{x}为pp维随机向量,CC为k×pk\times p行满秩矩阵(k≤pk\leq p),那么对于x\mathbf{x}的一个线性变换z=Cx\mathbf{z}=C\mathbf{x}:
    1. 均值向量:μz=Cμx\boldsymbol{\mu}_{\mathbf{z}}=C\boldsymbol{\mu}_\mathbf{x};
    2. 协方差矩阵:Σz=CΣxC⊤\Sigma_{\mathbf{z}}=C\Sigma_{\mathbf{x}}C^\top。

样本几何与随机抽样

考虑多元数据矩阵X=(x1⊤x2⊤⋮xn⊤)X=\begin{pmatrix}\mathbf{x}_1^\top\\\mathbf{x}_2^\top\\\vdots\\\mathbf{x}_n^\top\end{pmatrix},其可以看作Rp\R^p空间中的nn个数据点。用x‾\overline{\mathbf{x}}(pp维向量)可以刻画数据点的中心,SS(p×pp\times p矩阵)可以刻画数据点的变异。

  • 当然,也可以将数据矩阵按列分割X=(y1:y2:⋯:yp)X=(\mathbf{y}_1:\mathbf{y}_2:\cdots:\mathbf{y}_p),即Rn\R^n上的pp个向量。

  • 下面我们引入偏差向量:记1n=(1,1,⋯ ,1)⊤∈Rn×1\mathbf{1}_n=(1,1,\cdots,1)^\top\in\R^{n\times 1},那么1nn\dfrac{\mathbf{1}_n}{\sqrt{n}}可看作等角方向的单位向量。向量yi\mathbf{y}_i在1nn\dfrac{\mathbf{1}_n}{\sqrt{n}}上的正交投影则为

    (yi⊤1nn)⋅1nn=x‾i1n.\left(\mathbf{y}_i^\top\dfrac{\mathbf{1}_n}{\sqrt{n}}\right)\cdot\dfrac{\mathbf{1}_n}{\sqrt{n}}= \overline{x}_i \mathbf{1}_n.

    于是yi\mathbf{y}_i可进行如下正交分解:yi=x‾i1n+(yi−x‾i1n)\mathbf{y}_i = \overline{x}_i \mathbf{1}_n + (\mathbf{y}_i - \overline{x}_i \mathbf{1}_n),其中yi−x‾i1n\mathbf{y}_i - \overline{x}_i \mathbf{1}_n即为偏差向量,记作di\mathbf{d}_i。关于偏差向量,其几何性质如下:

    • 偏差向量的长度Ldi2=di⊤di=∑j=1n(xji−x‾i)2\displaystyle L_{\mathbf{d}_i}^2=\mathbf{d}_i^\top\mathbf{d}_i=\sum_{j=1}^n(x_{ji}-\overline{x}_i)^2;
    • 偏差向量di\mathbf{d}_i与dk\mathbf{d}_k间的夹角余弦 cos⁡θik=di⊤dkLdiLdk=∑j=1n(xji−x‾i)(xjk−x‾k)∑j=1n(xji−x‾i)2∑j=1n(xjk−x‾k)2=siksiiskk=rik\begin{aligned} \cos\theta_{ik}= \frac{\mathbf{d}_i^\top\mathbf{d}_k}{L_{d_i} L_{d_k}}&= \frac{\sum_{j=1}^n (x_{ji} - \overline{x}_i)(x_{jk} - \overline{x}_k)}{\sqrt{\sum_{j=1}^n (x_{ji} - \overline{x}_i)^2} \sqrt{\sum_{j=1}^n (x_{jk} - \overline{x}_k)^2}} \\ &= \frac{s_{ik}}{\sqrt{s_{ii}} \sqrt{s_{kk}}} = r_{ik} \end{aligned} 为原始数据列向量的相关系数。

    因此样本协方差矩阵SnS_n完全可以由偏差向量(的内积)进行刻画。

  • 关于样本均值和样本协方差矩阵的正式定义:设pp维随机向量x∼f(x∣θ)\mathbf{x}\sim f(\mathbf{x}|\boldsymbol{\theta}),分布满足E(x)=μ,Cov(x)=Σ\mathbb{E}(\mathbf{x})=\boldsymbol{\mu},\mathrm{Cov}(\mathbf{x})=\Sigma。基于此分布进行简单随机抽样得到样本x1,⋯ ,xn∼i.i.d.f(x)\mathbf{x}_1,\cdots,\mathbf{x}_n\stackrel{i.i.d.}{\sim}f(\mathbf{x}),其样本均值和样本协方差定义为

    x‾=1n∑i=1nxi,S=1n−1∑i=1n(xi−x‾)(xi−x‾)⊤\overline{\mathbf{x}}=\frac{1}{n}\sum_{i=1}^n\mathbf{x}_i,\quad S=\frac{1}{n-1}\sum_{i=1}^n(\mathbf{x}_i-\overline{\mathbf{x}})(\mathbf{x}_i-\overline{\mathbf{x}})^\top

    其满足下述性质:

    E(x‾)=μ,Cov(x‾)=1nΣ,E(S)=Σ\mathbb{E}(\overline{\mathbf{x}})=\boldsymbol{\mu},\quad \mathrm{Cov}(\overline{\mathbf{x}})=\frac{1}{n}\Sigma,\quad \mathbb{E}(S)=\Sigma
  • 基于样本协方差矩阵,进一步定义:

    1. 广义样本方差:∣S∣=∏i=1pλi|S|=\displaystyle\prod_{i=1}^p\lambda_i
    2. 总样本方差:tr(S)=∑i=1pλi\text{tr}(S)=\displaystyle\sum_{i=1}^p\lambda_i

    不过这两个方差仍然不能完全替代协方差矩阵,因为其忽略了特征向量(方向)的信息。

    • 广义样本方差的几何意义:
      1. 数据在Rn\R^n空间中的超平行四边体体积。具体而言, ∣S∣=1(n−1)p(超平行四边体的体积)2|S|=\frac{1}{(n-1)^p}(\text{超平行四边体的体积})^2 这里的超平行四边体(p=2p=2时即为平行四边形)由偏差向量构成。
      2. 数据在Rp\R^p空间中的超椭球体积。具体而言,由于SS为对称正定矩阵,因此可沿用上述谱分解及二次型推导,得到 (x−x‾)⊤S−1(x−x‾)=c2(\mathbf{x} - \overline{\mathbf{x}})^\top S^{-1} (\mathbf{x} - \overline{\mathbf{x}}) = c^2 可以证明,这个超椭球的体积可表示为 ∫{x:(x−x‾)⊤S−1(x−x‾)≤c2}dx=2πp/2pΓ(p/2)∣S∣1/2cp.\int_{\{ \mathbf{x} : (\mathbf{x} - \overline{\mathbf{x}})^\top S^{-1} (\mathbf{x} - \overline{\mathbf{x}}) \leq c^2 \}}\mathrm{d}x = \frac{2\pi^{p/2}}{p\Gamma(p/2)} |S|^{1/2} c^p. 实际上,SS的特征值决定了椭球的形状,而SS的特征向量则决定了椭球的轴向。
  • 那么什么条件下SS会变为奇异矩阵(即rank(S)<p\text{rank}(S)< p)呢?主要有下面两个充分条件:

    1. n≤pn\leq p;
    2. XX的列向量线性相关。

    其证明需要构造SS与XX的关系。可以证明:

    (n−1)S=(X−1n1n1n⊤X)⊤(X−1n1n1n⊤X)=X⊤(In−1n1n1n⊤)X.(n - 1)S = (X - \frac{1}{n}\mathbf{1}_n\mathbf{1}_n^\top X)^\top (X - \frac{1}{n}\mathbf{1}_n\mathbf{1}_n^\top X) = X^\top (\mathbf{I}_n - \frac{1}{n}\mathbf{1}_n\mathbf{1}_n^\top )X.

    其中In−1n1n1n⊤\mathbf{I}_n - \dfrac{1}{n}\mathbf{1}_n\mathbf{1}_n^\top为秩n−1n-1的幂等矩阵。

  • SS与相关系数矩阵RR的关系:记$ D1/2=(s11s22⋱spp)D^{1/2} = \begin{pmatrix} \sqrt{s_{11}} & & & \\ & \sqrt{s_{22}} & & \\ & & \ddots & \\ & & & \sqrt{s_{pp}} \end{pmatrix}

    则有S=D1/2RD1/2,R=D−1/2SD−1/2S = D^{1/2} R D^{1/2}, \quad R = D^{-1/2} S D^{-1/2}。

  • 协方差矩阵的线性变换:设x1,x2,⋯ ,xn\mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_n为随机样本。构造线性变换zi=Axi\mathbf{z}_i = A\mathbf{x}_i,其中A∈Rq×pA\in\R^{q \times p}。则有

    z‾=Ax‾,Sz=ASxA⊤.\overline{\mathbf{z}} = A\overline{\mathbf{x}},\quad S_z = AS_xA^\top.

多元正态分布

同样,在线性模型Cheat Sheet中已经记录的内容不再赘述(虽然重复的应该不多)。

  • 基于概率密度函数的定义:若pp维随机向量x\mathbf{x}服从pp维正态分布(记作x∼Np(μ,Σ)\mathbf{x}\sim N_p(\boldsymbol{\mu},\Sigma),其中μ∈Rp,Σ\boldsymbol{\mu}\in\R^p,\Sigma为正定矩阵),则其概率密度函数为 fx(x∣μ,Σ)=1(2π)p/2∣Σ∣1/2exp⁡{−12(x−μ)⊤Σ−1(x−μ)},f_{\mathbf{x}}(\mathbf{x}|\boldsymbol{\mu}, \Sigma) = \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp \left\{ -\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x} - \boldsymbol{\mu}) \right\},
  • 基于标准正态分布的定义:对于均值向量为μ\boldsymbol{\mu},协方差矩阵为Σ\Sigma的随机向量x\mathbf{x},则如果存在线性变换x=Az+μ\mathbf{x}=A\mathbf{z}+\boldsymbol{\mu}(其中AA⊤=Σ,zAA^\top=\Sigma,\mathbf{z}为独立标准正态随机变量组成的随机向量),那么称x\mathbf{x}满足pp维正态分布。
  • 线性变换:若x∼Np(μ,Σ)\mathbf{x}\sim N_p(\boldsymbol{\mu},\Sigma),那么对任意A∈Rq×pA\in\R^{q\times p},有Ax+b∼Nq(Aμ+b,AΣA⊤)A\mathbf{x}+\mathbf{b}\sim N_q(A\boldsymbol{\mu}+\mathbf{b},A\Sigma A^\top)。
  • 分块性质:考虑下述分块 x=(x(1)x(2))∈Rq∈Rp−q ,μ=(μ(1)μ(2)) ,Σ=(Σ11Σ12Σ21Σ22).\mathbf{x} = \begin{pmatrix} \mathbf{x}^{(1)} \\ \mathbf{x}^{(2)} \end{pmatrix} \begin{matrix} \in&\R^q \\ \in&\R^{p - q} \end{matrix} \ , \quad \boldsymbol{\mu} = \begin{pmatrix} \boldsymbol{\mu}^{(1)} \\ \boldsymbol{\mu}^{(2)} \end{pmatrix} \ , \quad \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix} . 则有:
    1. 边际分布:x(1)∼Nq(μ(1),Σ11)\mathbf{x}^{(1)}\sim N_q(\boldsymbol{\mu}^{(1)},\Sigma_{11})【可用上述线性变换结论证明】
    2. 不相关与独立性等价:当Σ12=0\Sigma_{12}=\mathbf{0}时,x(1)\mathbf{x}^{(1)}与x(2)\mathbf{x}^{(2)}相互独立。
    3. 条件分布:给定x(2)\mathbf{x}^{(2)}时,x(1)\mathbf{x}^{(1)}的条件分布为Nq(μ1.2,Σ11.2)N_q (\boldsymbol{\mu}_{1.2}, \Sigma_{11.2}),其中 μ1.2=μ(1)+Σ12Σ22−1(x(2)−μ(2)),Σ11.2=Σ11−Σ12Σ22−1Σ21.\boldsymbol{\mu}_{1.2} = \boldsymbol{\mu}^{(1)} + \Sigma_{12}\Sigma_{22}^{-1}(\mathbf{x}^{(2)} - \boldsymbol{\mu}^{(2)}), \quad \Sigma_{11.2} = \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}. 其中B=Σ12Σ22−1∈Rq×(p−q)B=\Sigma_{12}\Sigma_{22}^{-1}\in\R^{q\times(p-q)}也称为x(1)\mathbf{x}^{(1)}关于x(2)\mathbf{x}^{(2)}回归系数矩阵,而μ1.2\boldsymbol{\mu}_{1.2}也称为回归函数。Σ11.2\Sigma_{11.2}则称为偏协方差矩阵(由此也可得到偏相关系数)。
  • 特征函数:Np(μ,Σ)N_p(\boldsymbol{\mu},\Sigma)分布的特征函数为 ϕx(t)=exp⁡{iμ⊤t−12t⊤Σt}.\phi_{\mathbf{x}}(\mathbf{t}) = \exp\{i\boldsymbol{\mu}^\top\mathbf{t} - \frac{1}{2}\mathbf{t}^\top\Sigma\mathbf{t}\}. 基于这个特征函数可以得到随机变量的任意矩: E(∏j=1kxijhj)=∂ϕx(t)∂(iti1)h1⋯∂(itik)hk∣t=0.\mathrm{E}\left(\prod_{j=1}^k x_{ij}^{h_j}\right) = \left. \frac{\partial \phi_{\mathbf{x}}(\mathbf{t})}{\partial(it_{i_1})^{h_1} \cdots \partial(it_{i_k})^{h_k}} \right|_{\mathbf{t}=0}.
  • 二次型分布:若x∼Np(μ,Σ),Σ>0\mathbf{x}\sim N_p(\boldsymbol{\mu},\Sigma),\Sigma>0,则有(x−μ)⊤Σ−1(x−μ)∼χp2(\mathbf{x} - \boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x} - \boldsymbol{\mu}) \sim \chi^2_p。
    • 这里的(x−μ)⊤Σ−1(x−μ)(\mathbf{x} - \boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x} - \boldsymbol{\mu})实际上就是马氏距离的平方。

多元正态样本统计量

设x1,⋯ ,xn\mathbf{x}_1,\cdots,\mathbf{x}_n为Np(μ,Σ)N_p(\boldsymbol{\mu},\Sigma)分布的随机样本,则可以应用数理统计的相关知识:

  • 极大似然估计:μ,Σ\boldsymbol{\mu},\Sigma的极大似然估计分别为x‾\overline{\mathbf{x}}和Sn=1n∑i=1n(xi−x‾)(xi−x‾)⊤S_n=\frac1n\sum_{i=1}^n(\mathbf{x}_i-\overline{\mathbf{x}})(\mathbf{x}_i-\overline{\mathbf{x}})^\top。
    证明

    似然函数:

    L(μ,Σ)=∏i=1nf(xi∣μ,Σ)=∏i=1n1(2π)p/2∣Σ∣1/2exp⁡{−12(xi−μ)⊤Σ−1(xi−μ)}=1(2π)np/2∣Σ∣n/2exp⁡[−12tr{Σ−1∑i=1n(xi−μ)(xi−μ)⊤}]\begin{aligned} L(\boldsymbol{\mu}, \Sigma)&= \prod_{i=1}^{n} f(\mathbf{x}_i | \boldsymbol{\mu}, \Sigma) \\ &= \prod_{i=1}^{n} \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp \left\{ -\frac{1}{2}(\mathbf{x}_i - \boldsymbol{\mu})^\top\Sigma^{-1}(\mathbf{x}_i - \boldsymbol{\mu}) \right\} \\ &= \frac{1}{(2\pi)^{np/2}|\Sigma|^{n/2}} \exp \left[ -\frac{1}{2}\mathrm{tr} \left\{ \Sigma^{-1} \sum_{i=1}^{n} (\mathbf{x}_i - \boldsymbol{\mu})(\mathbf{x}_i - \boldsymbol{\mu})^\top \right\} \right] \end{aligned}

    其中最后一个等号因为指数是标量,所以可以引入迹。由此得到对数似然函数:

    log⁡L(μ,Σ)=−np2log⁡(2π)−n2log⁡∣Σ∣−12tr{Σ−1∑i=1n(xi−μ)(xi−μ)⊤}=−np2log⁡(2π)−n2log⁡∣Σ∣−12tr[Σ−1{A+n(x‾−μ)(x‾−μ)⊤}]=−np2log⁡(2π)−n2log⁡∣Σ∣−12trΣ−1A−n2(x‾−μ)⊤Σ−1(x‾−μ)≤−np2log⁡(2π)−n2log⁡∣Σ∣−12trΣ−1A=log⁡L(x‾,Σ),\begin{aligned} \log L(\boldsymbol{\mu}, \Sigma)&= -\frac{np}{2} \log(2\pi) - \frac{n}{2} \log|\Sigma| - \frac{1}{2}\mathrm{tr} \left\{ \Sigma^{-1} \sum_{i=1}^{n} (\mathbf{x}_i - \boldsymbol{\mu})(\mathbf{x}_i - \boldsymbol{\mu})^\top \right\} \\ &= -\frac{np}{2} \log(2\pi) - \frac{n}{2} \log|\Sigma| - \frac{1}{2}\mathrm{tr} \left[ \Sigma^{-1} \{ A + n(\overline{\mathbf{x}} - \boldsymbol{\mu})(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top \} \right] \\ &= -\frac{np}{2} \log(2\pi) - \frac{n}{2} \log|\Sigma| - \frac{1}{2}\mathrm{tr}\Sigma^{-1}A - \frac{n}{2}(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top\Sigma^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}) \\ &\le -\frac{np}{2} \log(2\pi) - \frac{n}{2} \log|\Sigma| - \frac{1}{2}\mathrm{tr}\Sigma^{-1}A \\ &= \log L(\overline{\mathbf{x}}, \Sigma), \end{aligned}

    其中A=(n−1)S=∑i=1n(xi−μ)(xi−μ)⊤\displaystyle A=(n-1)S=\sum_{i=1}^n(\mathbf{x}_i-\boldsymbol{\mu})(\mathbf{x}_i-\boldsymbol{\mu})^\top。x‾=μ\overline{\mathbf{x}}=\boldsymbol{\mu}时取等号。
    下面再对L(x‾,Σ)L(\overline{\mathbf{x}},\Sigma)关于Σ\Sigma最大化:

    L(x‾,Σ)=−np2log⁡(2π)−n2log⁡∣Σ∣−12trΣ−1A=−np2log⁡(2π)−n2{log⁡∣Σ∣+tr(Σ−1An)+log⁡∣An∣−log⁡∣An∣}=−np2log⁡(2π)−n2log⁡∣An∣−n2{tr(Σ−1/2AnΣ−1/2)−log⁡∣Σ−1/2AnΣ−1/2∣}≤−np2log⁡(2π)−n2log⁡∣An∣−np2\begin{aligned} L(\overline{\mathbf{x}},\Sigma)&= -\frac{np}{2}\log(2\pi) - \frac{n}{2}\log|\Sigma| - \frac{1}{2}\mathrm{tr}\Sigma^{-1}A \\ &= -\frac{np}{2}\log(2\pi) - \frac{n}{2}\left\{ \log|\Sigma| + \mathrm{tr}\left(\Sigma^{-1}\frac{A}{n}\right) + \log\left|\frac{A}{n}\right| - \log\left|\frac{A}{n}\right| \right\} \\ &= -\frac{np}{2}\log(2\pi) - \frac{n}{2}\log\left|\frac{A}{n}\right|- \frac{n}{2}\left\{ \mathrm{tr}\left(\Sigma^{-1/2}\frac{A}{n}\Sigma^{-1/2}\right) - \log\left|\Sigma^{-1/2}\frac{A}{n}\Sigma^{-1/2}\right| \right\} \\ &\le -\frac{np}{2}\log(2\pi) - \frac{n}{2}\log\left|\frac{A}{n}\right| - \frac{np}{2} \end{aligned}Σ=An\Sigma=\dfrac{A}{n}时取等号。这里的不等号基于下述不等式:设B∈Rp×pB\in\R^{p\times p}为正定矩阵,则$tr(B)−log⁡∣B∣≥p\text{tr}(B)-\log |B|\geq p

    等号当且仅当B=IpB=\mathbf{I}_p时取到。这可以用特征值证明:

    tr(B)−p−log⁡∣B∣=∑j=1p(λj−1−log⁡λj)≥0\text{tr}(B) - p - \log|B| = \sum_{j=1}^{p}(\lambda_j - 1 - \log \lambda_j) \ge 0

    等号当且仅当λj=1\lambda_j=1,对应B=IpB=\mathbf{I}_p。

    • 推论:μ⊤Σ−1μ\boldsymbol{\mu}^\top\Sigma^{-1}\boldsymbol{\mu}的MLE是x‾⊤Sn−1x‾\overline{\mathbf{x}}^\top S_n^{-1}\overline{\mathbf{x}};σii\sqrt{\sigma_{ii}}的MLE是sii\sqrt{s_{ii}}(siis_{ii}的第(i,i)(i,i)个元素)。
  • 样本均值分布:x‾∼N(μ,1nΣ)\overline{\mathbf{x}}\sim N(\boldsymbol{\mu},\frac1n\Sigma)
  • 样本协方差的分布:定义A=(n−1)S=∑i=1n(xi−x‾)(xi−x‾)⊤\displaystyle A=(n-1)S=\sum_{i=1}^n(\mathbf{x}_i-\overline{\mathbf{x}})(\mathbf{x}_i-\overline{\mathbf{x}})^\top,则
    • 可以证明:当n>pn>p时,P(S>0)=1P(S>0)=1,即SS可逆概率为11。
    • 另一方面,A=d∑i=1n−1zizi⊤\displaystyle A\stackrel{d}{=}\sum_{i=1}^{n-1}\mathbf{z}_i\mathbf{z}_i^\top,其中zi∼i.i.dNp(0,Σ)\mathbf{z}_i\stackrel{i.i.d}{\sim}N_p(\mathbf{0},\Sigma),此时AA的分布被称为Wishart分布,记为A∼W(n−1,Σ)A\sim W(n-1,\Sigma)【分布密度函数略,其形式类似卡方分布】
  • x‾\overline{\mathbf{x}}与SS相互独立(证明见线性模型)
  • 多元中心极限定理:n(x‾−μ)→LN(0,Σ)\sqrt{n}(\overline{\mathbf{x}} - \boldsymbol{\mu}) \xrightarrow{L} N(\mathbf{0}, \Sigma) (n→∞n \to \infty)
  • 马氏距离渐近分布:n(x‾−μ)⊤S−1(x‾−μ)→Lχp2n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top S^{-1} (\overline{\mathbf{x}} - \boldsymbol{\mu}) \xrightarrow{L} \chi^2_p(n→∞n \to \infty)
  • 样本相关系数(二维情形):因为协方差矩阵Σ=(σ12ρσ1σ2ρσ1σ2σ22)\Sigma=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix},因此样本相关系数定义为r=a12a11a22r=\dfrac{a_{12}}{\sqrt{a_{11}a_{22}}},其中 a11=∑k=1n(xk1−x‾1)2,a22=∑k=1n(xk2−x‾2)2,a12=∑k=1n(xk1−x‾1)(xk2−x‾2)\begin{aligned} a_{11} = \sum_{k=1}^{n} (x_{k1} - \overline{x}_1)^2 ,\quad a_{22} = \sum_{k=1}^{n} (x_{k2} - \overline{x}_2)^2,\quad a_{12} = \sum_{k=1}^{n} (x_{k1} - \overline{x}_1)(x_{k2} - \overline{x}_2) \end{aligned} 当ρ=0\rho=0时,n−2r1−r2∼tn−2\sqrt{n-2}\dfrac{r}{\sqrt{1-r^2}} \sim t_{n-2};
    • 渐近正态性:n(r−ρ)1−ρ2→LN(0,1)\dfrac{\sqrt{n}(r-\rho)}{1-\rho^2} \xrightarrow{L} N(0,1)
    • Fisher z-变换:记z(x)=12log⁡1+x1−xz(x)=\dfrac12\log\dfrac{1+x}{1-x},则n{z(r)−z(ρ)}→N(0,1)\sqrt{n}\{z(r)-z(\rho)\}\xrightarrow{}N(0,1)

均值推断

可以看作是一元随机变量均值推断的扩展,目标是对μ=(μ1,⋯ ,μp)⊤\boldsymbol{\mu}=(\mu_1,\cdots,\mu_p)^\top进行参数估计与假设检验(假设总体服从多元正态分布)。推断的关键是对观测值y\boldsymbol{y}进行联合分析。

HoTelling T2T^2 检验

回顾一元随机变量均值的tt检验:H0:μ=μ0vsH1:μ≠μ0H_0:\mu=\mu_0\quad\text{vs}\quad H_1:\mu\neq\mu_0,使用的检验统计量为

t=x‾−μ0sn∼H0t(n−1)t=\frac{\overline{x}-\mu_0}{\frac{s}{\sqrt{n}}}\stackrel{H_0}{\sim}t(n-1)

当∣t∣≥tα2(n−1)|t|\geq t_{\frac{\alpha}{2}}(n-1)时拒绝H0H_0。同时得到μ\mu的1−α1-\alpha置信区间:

[x‾−tα2(n−1)sn,x‾+tα2(n−1)sn]\left[ \overline{x} - t_{\frac\alpha2}(n-1) \frac{s}{\sqrt{n}}, \quad \overline{x} + t_{\frac\alpha2}(n-1) \frac{s}{\sqrt{n}} \right]

下面我们将假设检验判定条件两边取平方:

t2=(x‾−μ0)(s2n)−1(x‾−μ0)>tα22(n−1)t^2 = (\overline{x} - \mu_0) \left( \frac{s^2}{n} \right)^{-1} (\overline{x} - \mu_0) > t^2_{\frac\alpha2}(n-1)

基于此可以推广到多元随机变量的均值检验,即HoTelling T2T^2检验。其假设为:

H0:μ=μ0vsH1:μ≠μ0H_0:\boldsymbol{\mu}=\boldsymbol{\mu}_0\quad\text{vs}\quad H_1:\boldsymbol{\mu}\neq\boldsymbol{\mu}_0

构造HoTelling T2T^2统计量:

T2=(x‾−μ0)⊤(Sn)−1(x‾−μ0)=n(x‾−μ0)⊤S−1(x‾−μ0)∼H0T2(p,n−1)=(n−1)pn−pF(p,n−p)\begin{aligned} T^2 &= (\overline{\mathbf{x}} - \boldsymbol{\mu}_0)^\top \left(\frac{S}{n}\right)^{-1} (\overline{\mathbf{x}} - \boldsymbol{\mu}_0) = n(\overline{\mathbf{x}} - \boldsymbol{\mu}_0)^\top S^{-1} (\overline{\mathbf{x}} - \boldsymbol{\mu}_0) \\ &\overset{H_0}{\sim} T^2(p, n-1) = \frac{(n-1)p}{n-p} F(p, n-p) \end{aligned}

当T2>(n−1)pn−pFα(p,n−p)T^2 > \dfrac{(n - 1)p}{n - p} F_{\alpha}(p, n-p)时拒绝H0H_0。

  • 下面对T2T^2统计量进行详细研究:实际上,T2T^2统计量的分布可以表示为 Tp,n−12=Np(0,Σ)⊤[1n−1Wp,n−1(Σ)]−1Np(0,Σ)T^2_{p,n-1} = N_p(\mathbf{0}, \boldsymbol{\Sigma})^\top \left[ \frac{1}{n-1} \mathbf{W}_{p,n-1}(\boldsymbol{\Sigma}) \right]^{-1} N_p(\mathbf{0}, \boldsymbol{\Sigma}) 而Wishart分布可看作卡方分布的多元推广,所以T2T^2统计量的本质就是一元tt统计量平方的推广。

    另一方面,T2T^2的表达式也可以看作是一种x‾\overline{x}到μ0\boldsymbol{\mu}_0的马氏距离,假设检验中这个距离过大时就拒绝H0H_0。

  • T2T^2统计量还具有仿射不变性。具体而言,对于非奇异的Cp×pC_{p \times p}和b∈Rp\mathbf{b} \in \mathbb{R}^p,令y=Cx+b\mathbf{y} = C\mathbf{x} + \mathbf{b},那么 H0(x):μ=μ0  ⟺  H0(y):μy=Cμ0+bH_0^{(x)} : \boldsymbol{\mu} = \boldsymbol{\mu}_0 \quad \iff \quad H_0^{(y)} : \boldsymbol{\mu}_y = C\boldsymbol{\mu}_0 + \mathbf{b} 且Tx2=Ty2T_x^2 = T_y^2。
  • HoTelling T2T^2 检验是似然比检验。
    证明

    上面已推导得出

    L(μ,Σ)=1(2π)np/2∣Σ∣n/2exp⁡[−12tr{Σ−1∑i=1n(xi−μ)(xi−μ)⊤}]L(\boldsymbol{\mu},\Sigma)=\frac{1}{(2\pi)^{np/2}|\Sigma|^{n/2}} \exp \left[ -\frac{1}{2}\mathrm{tr} \left\{ \Sigma^{-1} \sum_{i=1}^{n} (\mathbf{x}_i - \boldsymbol{\mu})(\mathbf{x}_i - \boldsymbol{\mu})^\top \right\} \right]

    以及它的最大值

    max⁡μ∈Rp,Σ>0L(μ,Σ)=e−np/2(2π)np/2∣Σ^∣n/2,\max_{\boldsymbol{\mu}\in\R^p,\Sigma>0}L(\boldsymbol{\mu},\Sigma)=\frac{e^{-np/2}}{(2\pi)^{np/2}|\widehat{\Sigma}|^{n/2}},

    对应μ^=x‾,Σ^=An\widehat{\boldsymbol{\mu}}=\overline{\mathbf{x}},\widehat{\Sigma}=\dfrac{A}{n}。而在H0H_0条件下,

    max⁡H0L(μ,Σ)=max⁡L(μ0,Σ^0)=e−np/2(2π)np/2∣Σ^0∣n/2\max_{H_0} L(\boldsymbol{\mu}, \Sigma) = \max L(\boldsymbol{\mu}_0, \widehat{\Sigma}_0) = \frac{e^{-np/2}}{(2\pi)^{np/2} |\widehat{\Sigma}_0|^{n/2}}

    其中Σ^0=1n∑i=1n(xi−μ0)(xi−μ0)⊤\displaystyle\widehat{\Sigma}_0 =\frac1n\sum_{i=1}^{n} (\mathbf{x}_i - \boldsymbol{\mu}_0)(\mathbf{x}_i - \boldsymbol{\mu}_0)^\top。于是设似然比为Λ\Lambda,那么

    Λ2n=∣nΣ^∣∣nΣ^0∣=∣A∣∣A+[n(x‾−μ0)][n(x‾−μ0)]⊤∣=(1+T2n−1)−1.\Lambda^{\frac2n} = \frac{|n\widehat{\Sigma}|}{|n\widehat{\Sigma}_0|} = \frac{|A|}{|A + [\sqrt{n}(\overline{\mathbf{x}} - \boldsymbol{\mu}_0)][\sqrt{n}(\overline{\mathbf{x}} - \boldsymbol{\mu}_0)]^\top|}=\left( 1 + \frac{T^2}{n-1} \right)^{-1}.

    由此得证。

置信域与同时置信区间

  • 置信域的定义:参数θ\boldsymbol{\theta}的1−α1-\alpha置信域R(X)R(\mathbf{X})满足P(θ∈R(X))=1−αP(\boldsymbol{\theta}\in R(\mathbf{X}))=1-\alpha。
    • 由此我们可以定义上述μ\boldsymbol{\mu}的1−α1-\alpha置信域: {μ:n(x‾−μ)⊤S−1(x‾−μ)≤p(n−1)n−pFp,n−p(α)}\{ \boldsymbol{\mu} : n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top S^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}) \leq \frac{p(n - 1)}{n - p} F_{p, n-p}(\alpha) \} 这是一个以x‾\overline{\mathbf{x}}为中心的一个椭球。
  • 下面我们尝试寻找同时置信区间{[Lj,Uj]:j=1,⋯ ,p}\{[L_j,U_j]:j=1,\cdots,p\}使得P(Lj<μj<Uj,j=1,⋯ ,p)=1−αP(L_j< \mu_j< U_j,j=1,\cdots,p)=1-\alpha:
    • 首先考虑线性变换a⊤μ\mathbf{a}^\top\boldsymbol{\mu}的置信区间(a∈Rp\mathbf{a}\in\R^p)。设z=a⊤xz=\mathbf{a}^\top\mathbf{x}中简单随机抽样得到样本z1,⋯ ,znz_1,\cdots,z_n,则z‾=a⊤x‾,sz2=a⊤Sa\overline{z}=\mathbf{a}^\top\overline{\mathbf{x}},s_z^2=\mathbf{a}^\top S\mathbf{a}。那么 t=n(z‾−μz)sz=n(a⊤x‾−a⊤μ)a⊤Sa∼tn−1.t = \frac{\sqrt{n}(\overline{z} - \mu_z)}{s_z} = \frac{\sqrt{n}(\mathbf{a}^\top\overline{\mathbf{x}} - \mathbf{a}^\top\boldsymbol{\mu})}{\sqrt{\mathbf{a}^\top S\mathbf{a}}} \sim t_{n-1}. 因此对于给定a\mathbf{a},a⊤μ\mathbf{a}^\top\boldsymbol{\mu}的1−α1-\alpha置信区间为 [z‾−tn−1(α2)szn, z‾+tn−1(α2)szn]\left[ \overline{z} - t_{n-1} \left( \frac{\alpha}{2} \right) \frac{s_z}{\sqrt{n}},\ \overline{z} + t_{n-1} \left( \frac{\alpha}{2} \right) \frac{s_z}{\sqrt{n}} \right] 或 [a⊤x‾−tn−1(α2)a⊤San, a⊤x‾+tn−1(α2)a⊤San].\left[\mathbf{a}^\top\overline{\mathbf{x}} - t_{n-1}\left(\frac{\alpha}{2}\right)\sqrt{\frac{\mathbf{a}^\top S\mathbf{a}}{n}},\ \mathbf{a}^\top\overline{\mathbf{x}} + t_{n-1}\left(\frac{\alpha}{2}\right)\sqrt{\frac{\mathbf{a}^\top S\mathbf{a}}{n}}\right].
    • 若直接取a=ej\mathbf{a}=\mathbf{e}_j(标准基向量),那么就能得到每个μj\mu_j的1−α1-\alpha置信区间 [x‾j−tn−1(α2)sjjn, x‾j+tn−1(α2)sjjn].\left[\overline{x}_j - t_{n-1}\left(\frac{\alpha}{2}\right)\sqrt{\frac{s_{jj}}{n}},\ \overline{x}_j + t_{n-1}\left(\frac{\alpha}{2}\right)\sqrt{\frac{s_{jj}}{n}}\right]. 然而将这pp个置信区间直接取交集,得到的置信水平会小于1−α1-\alpha。特别地,当xjx_j相互独立时,置信水平为(1−α)p<1−α(1-\alpha)^p< 1-\alpha。【也就是得到的置信区间不够宽】
    • 那么如何解决这个问题?主要有下述两种方法(两位统计学家的名字在试验设计中也有出现):
      1. Scheffé方法
        这一方法实际上将原有的同时置信区间问题进行了推广,即找到一个上界cc使得P(n(a⊤x‾−a⊤μ)2a⊤Sa≤c2,∀a)≥1−α\displaystyle P\left(\frac{n(\mathbf{a}^\top\overline{\mathbf{x}} - \mathbf{a}^\top\boldsymbol{\mu})^2}{\mathbf{a}^\top S\mathbf{a}}\leq c^2,\forall \mathbf{a}\right)\geq 1-\alpha成立。对此,我们可以使用上面矩阵不等式得到 max⁡a≠0n{a⊤(x‾−μ)}2a⊤Sa=n(x‾−μ)⊤S−1(x‾−μ)=T2.\max_{\mathbf{a} \neq 0} \frac{n\{\mathbf{a}^\top (\overline{\mathbf{x}} - \boldsymbol{\mu})\}^2}{\mathbf{a}^\top S\mathbf{a}} = n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top S^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}) = T^2. 于是只需要取c2=Tα2(p,n−1)=(n−1)pn−pFα(p,n−p)c^2=T^2_\alpha(p, n-1) = \dfrac{(n-1)p}{n-p} F_\alpha(p, n-p)即可。
        • 因此对于a⊤μ\mathbf{a}^\top\boldsymbol{\mu}和每个μj\mu_j的1−α1-\alpha置信区间,只需要将上面置信区间的tn−1(α2)\displaystyle t_{n-1}\left(\frac{\alpha}{2}\right)改为Tα2(p,n−1)\sqrt{T^2_\alpha(p, n-1)}即可。

        实际上,我们可以构造μj\mu_j任意线性组合的1−α1-\alpha置信区间,这都可以看作置信域椭球的变换投影。

      2. Bonferroni方法
        这一方法主要基于下述不等式: P(∩j=1mCj)=1−P(∪j=1mCjc)≥1−∑j=1mP(Cjc)=1−∑j=1mαj.\mathrm{P}(\cap_{j=1}^m C_j) = 1 - \mathrm{P}(\cup_{j=1}^m C_j^c) \ge 1 - \sum_{j=1}^m \mathrm{P}(C_j^c) = 1 - \sum_{j=1}^m \alpha_j. 其中CjC_j表示置信区间包含aj⊤μ\mathbf{a}_j^\top\boldsymbol{\mu}这一事件。由此,当我们取αj=αm\alpha_j=\dfrac{\alpha}{m}和aj=ej\mathbf{a}_j=\mathbf{e}_j,那么得到的同时置信区间 x‾j±tn−1(α2m)Sjjn,j=1,⋯ ,p\overline{x}_j \pm t_{n-1} \left( \frac{\alpha}{2m} \right) \sqrt{\frac{S_{jj}}{n}}, \quad j = 1, \cdots, p 的置信水平就至少为1−α1-\alpha。这个置信区间通常比Scheffé方法得到的置信区间更窄。

大样本均值推断

有时总体不一定服从多元正态分布。在这种情况下,当nn足够大时,因为样本协方差矩阵SS趋向总体协方差矩阵Σ\Sigma,因此

T2=n(x‾−μ)⊤S−1(x‾−μ)→dn(x‾−μ)⊤Σ−1(x‾−μ)∼χp2.T^2 = n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top S^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}) \xrightarrow{d}n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top \Sigma^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu})\sim\chi^2_p.

于是假设检验时判定拒绝原假设就可以用n(x‾−μ0)⊤S−1(x‾−μ0)>χp2(α)n(\overline{\mathbf{x}} - \boldsymbol{\mu}_0)^\top S^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}_0) > \chi_p^2(\alpha),而μ\boldsymbol{\mu}的1−α1-\alpha置信域则可近似表示为

{μ:n(x‾−μ)⊤S−1(x‾−μ)<χp2(α)}\{\boldsymbol{\mu}:n(\overline{\mathbf{x}} - \boldsymbol{\mu})^\top S^{-1}(\overline{\mathbf{x}} - \boldsymbol{\mu}) < \chi_p^2(\alpha)\}
  • 另一方面,利用Tp2T^2_p分布近似χp2\chi^2_p,也可以得到a⊤μ\mathbf{a}^\top\boldsymbol{\mu}的近似1−α1-\alpha置信区间(对应Scheffé方法): a⊤x‾±χp2(α)a⊤San\mathbf{a}^\top\overline{\mathbf{x}} \pm \sqrt{\chi^2_p(\alpha)} \sqrt{\frac{\mathbf{a}^\top S\mathbf{a}}{n}} 从而得到μ1,⋯ ,μp\mu_1,\cdots,\mu_p的1−α1-\alpha近似置信区间x‾j±χp2(α)Sjjn,j=1,2,⋯ ,p\displaystyle\overline{x}_j \pm \sqrt{\chi^2_p(\alpha)} \sqrt{\frac{S_{jj}}{n}}, \quad j = 1, 2, \cdots, p。
  • 而对于Bonferroni方法,当nn足够大时(相对pp而言),上述置信区间里的tt分布可以替换为标准正态分布也能达到近似。

缺失值处理

有时样本的观测值中会存在部分缺失(这在问卷调查中特别常见),这会对样本均值的估计产生阻碍。这里我们假定数据的缺失是一种随机缺失,即缺失概率不受变量值的影响。

  • 处理这种缺失值的一种方法是直接利用已有的数据使用条件概率密度函数构造似然函数然后做MLE,不过这样得到的似然函数往往难以直接求导计算。
  • 因此,一种更有效的方法是采用EM算法进行迭代估计。具体而言,考虑下述两个充分统计量 T1=∑i=1nxi,T2=∑i=1nxixi⊤T_1 = \sum_{i=1}^{n} \mathbf{x}_i ,\qquad T_2 = \sum_{i=1}^{n} \mathbf{x}_i \mathbf{x}_i^\top 如果是完全数据,那么MLE即为μ^=T1n,Σ^=T2n−T1T1⊤n2\displaystyle\hat{\boldsymbol{\mu}} = \frac{T_1}{n}, \hat{\Sigma} = \frac{T_2}{n}- \frac{T_1T_1^\top}{n^2}。下面假设数据xi=(xi(1)xi(2)),i=1,⋯ ,n\mathbf{x}_i = \begin{pmatrix} \mathbf{x}_i^{(1)} \\ \mathbf{x}_i^{(2)} \end{pmatrix},i=1,\cdots,n,其中xi(1)\mathbf{x}_i^{(1)}为缺失数据。EM算法的流程如下:
    1. 确定初始值μ^0\hat{\boldsymbol{\mu}}_0和Σ^0\hat{\Sigma}_0(可以通过将缺失值用观测值平均填充后得到)
    2. E步: x~i(1)=E(xi(1)∣xi(2);μ^k−1,Σ^k−1)xi(1)xi(1)⊤~=E(xi(1)xi(1)⊤∣xi(2);μ^k−1,Σ^k−1)xi(1)xi(2)⊤~=E(xi(1)xi(2)⊤∣xi(2);μ^k−1,Σ^k−1)=x~i(1)xi(2)⊤\begin{aligned} \widetilde{\mathbf{x}}_i^{(1)} &= \mathbb{E}(\mathbf{x}_i^{(1)} | \mathbf{x}_i^{(2)} ; \hat{\boldsymbol{\mu}}_{k-1}, \hat{\Sigma}_{k-1}) \\ \widetilde{\mathbf{x}_i^{(1)} \mathbf{x}_i^{(1)^\top}} &= \mathbb{E}(\mathbf{x}_i^{(1)} \mathbf{x}_i^{(1)^\top} | \mathbf{x}_i^{(2)} ; \hat{\boldsymbol{\mu}}_{k-1}, \hat{\Sigma}_{k-1}) \\ \widetilde{\mathbf{x}_i^{(1)} \mathbf{x}_i^{(2)^\top}} &= \mathbb{E}(\mathbf{x}_i^{(1)} \mathbf{x}_i^{(2)^\top} | \mathbf{x}_i^{(2)} ; \hat{\boldsymbol{\mu}}_{k-1}, \hat{\Sigma}_{k-1}) = \widetilde{\mathbf{x}}_i^{(1)} \mathbf{x}_i^{(2)^\top} \end{aligned}
    3. M步(MLE): μ^k=T~1,kn,Σ^k=1n(T~2,k−1nT~1,kT~1,k⊤)\hat{\boldsymbol{\mu}}_k = \frac{\widetilde{T}_{1,k}}{n}, \qquad \hat{\Sigma}_k = \frac{1}{n}(\widetilde{T}_{2,k} - \frac{1}{n}\widetilde{T}_{1,k}\widetilde{T}_{1,k}^\top) 可以证明在合适的初值条件下,k→∞k\to\infty时μ^k→μ^,Σ^k→Σ^\hat{\boldsymbol{\mu}}_k\to\hat{\boldsymbol{\mu}},\hat{\Sigma}_k\to\hat{\Sigma}。

多元方差分析

这实际上可以看作试验设计里方差分析在多元的推广,许多概念都是相通的。

这里我们主要检验的假设:H0:μ1=⋯=μkvsH1:not H0H_0:\boldsymbol{\mu}_1=\cdots=\boldsymbol{\mu}_k\quad\text{vs}\quad H_1: \text{not } H_0

配对检验

首先考虑k=2k=2的情形,此时两组样本往往是经过配对的(如同一处理前后两次观测,或匹配组设计,常见于临床试验等个体间可能差异很大的场景中)。此时采用配对检验相比普通的检验可以减少样本方差,并缓解个体间差异带来的影响。

  • 设xp×1(1)\mathbf{x}_{p\times 1}^{(1)}和xp×1(2)\mathbf{x}_{p\times 1}^{(2)}是来自配对个体的一组随机变量,定义d=x(1)−x(2)\mathbf{d}=\mathbf{x}^{(1)}-\mathbf{x}^{(2)},并假设其服从Np(δ,Σd)N_p(\boldsymbol{\delta},\Sigma_d),其中δ\boldsymbol{\delta}表示总体差值均值向量。
  • 另假设d1,⋯dn∼i.i.d.d\mathbf{d}_1,\cdots\mathbf{d}_n\stackrel{i.i.d.}{\sim}\mathbf{d},需要检验的假设 H0:δ=0vsH1:δ≠0H_0:\boldsymbol{\delta}=\mathbf{0}\quad\text{vs}\quad H_1:\boldsymbol{\delta}\neq\mathbf{0} 这样就转化为单样本均值检验,对应的检验统计量 T2=nd‾⊤Sd−1d‾>Tp,n−12(α)=(n−1)pn−pFp,n−p(α).T^2 = n \overline{\mathbf{d}}^\top S_d^{-1} \overline{\mathbf{d}} > T_{p, n-1}^2(\alpha) = \frac{(n-1)p}{n-p} F_{p, n-p}(\alpha). 相应地,置信域与同时置信区间(T2T^2 + Bonferroni)分别为 {δ:n(d‾−δ)⊤Sd−1(d‾−δ)≤Tp,n−12(α)}d‾j±Tp,n−12(α)sdj2nj=1,2,⋯ ,pd‾j±tn−1,α2pSdj2nj=1,2,⋯ ,p.\begin{aligned} \{\delta &: n(\overline{\mathbf{d}} - \delta)^\top S_d^{-1} (\overline{\mathbf{d}} - \delta) \le T_{p, n-1}^2(\alpha)\}\\ \overline{d}_j &\pm \sqrt{T_{p, n-1}^2(\alpha)} \sqrt{\frac{s_{d_j}^2}{n}} \quad j = 1, 2, \cdots, p\\ \overline{d}_j &\pm t_{n-1, \frac{\alpha}{2p}} \sqrt{\frac{S_{d_j}^2}{n}} \quad j = 1, 2, \cdots, p. \end{aligned} 当然,当n−pn-p和nn都足够大时,Tp,n−12(α)→χp2(α), tn−1,α2p→zα2pT_{p, n-1}^2(\alpha)\to\chi^2_p(\alpha),\ t_{n-1, \frac{\alpha}{2p}}\to z_{\frac{\alpha}{2p}}。
  • 为了与后续重复测量设计统一,我们可以考虑用线性变换表示d\mathbf{d}和SdS_d。令 x=(x(1)x(2))2p×1,Cp×2p=(Ip:−Ip).\mathbf{x} = \begin{pmatrix} \mathbf{x}^{(1)} \\ \mathbf{x}^{(2)} \end{pmatrix}_{2p \times 1} \quad , \quad C_{p \times 2p} = (I_p : -I_p). 那么有di=Cxi,d‾=Cx‾,Sd=CSxC⊤\mathbf{d}_i=C\mathbf{x}_i,\overline{\mathbf{d}}=C\overline{\mathbf{x}},S_d=CS_xC^\top,于是有 T2=n(Cx‾)⊤(CSxC⊤)−1(Cx‾).T^2 = n(C\overline{\mathbf{x}})^\top(CS_xC^\top)^{-1}(C\overline{\mathbf{x}}).

重复测量设计

考虑对nn个个体进行重复测量试验,每个个体在qq个时间点被观测。设xijx_{ij}为第ii个个体在第jj个时间点的响应值,其中i=1,⋯ ,ni=1,\cdots,n,j=1,⋯ ,qj=1,\cdots,q。【这也被称为纵向数据】

  • 记第ii个个体的观测向量为xi=(xi1,⋯ ,xiq)⊤\mathbf{x}_i=(x_{i1},\cdots,x_{iq})^\top,令E(xi)=μ=(μ1,⋯ ,μq)⊤\mathbb{E}(\mathbf{x}_i)=\boldsymbol{\mu}=(\mu_1,\cdots,\mu_q)^\top,其中μj\mu_j是第jj个时间点的总体均值。我们关心的是检验假设: H0:μ1=⋯=μqvsH1:μj≠μk, ∃j≠k.H_0:\mu_1=\cdots=\mu_q\quad\text{vs}\quad H_1:\mu_j\neq\mu_k,\ \exists j\neq k. 假设各观测向量x1,⋯ ,xn\mathbf{x}_1,\cdots,\mathbf{x}_n独立同分布,且xi∼Nq(μ,Σ)\mathbf{x}_i\sim N_q(\boldsymbol{\mu},\Sigma),其中Σ\Sigma是q×qq\times q的未知协方差矩阵。
  • 下面我们对原假设进行等价转换: H0:(μ1−μ2⋮μ1−μq)=0⟹H0:C1μ=0\begin{aligned} H_0 : \begin{pmatrix} \mu_1 - \mu_2 \\ \vdots \\ \mu_1 - \mu_q \end{pmatrix} = \mathbf{0}\quad \Longrightarrow\quad H_0 : C_1\boldsymbol{\mu} = \mathbf{0} \end{aligned} 其中C1=(1−10⋯010−1⋯0100⋯−1)=(1q−1:−Iq−1)\begin{aligned} C_1 = \begin{pmatrix} 1 & -1 & 0 & \cdots & 0 \\ 1 & 0 & -1 & \cdots & 0 \\ 1 & 0 & 0 & \cdots & -1 \end{pmatrix} = (\mathbf{1}_{q-1} : -\mathbf{I}_{q-1}) \end{aligned}。实际上,这里的矩阵C1C_1可以推广到任意矩阵C∈R(q−1)×qC\in\R^{(q-1)\times q},只要满足C1=0C\mathbf{1}=\mathbf{0}且行满秩即可,此时CC也称为对照矩阵【和试验设计里的对照概念本质相同】。于是可以得到拒绝域、CμC\boldsymbol{\mu}置信域和c⊤μ\mathbf{c}^\top\boldsymbol{\mu}同时置信区间: T2=nx‾⊤C⊤(CSC⊤)−1Cx‾>Tq−1,n−12(α){Cμ:n(Cx‾−Cμ)⊤(CSC⊤)−1(Cx‾−Cμ)<Tq−1,n−12(α)}c⊤x‾±Tq−1,n−12(α)c⊤Scn\begin{aligned} T^2 &= n\overline{\mathbf{x}}^\top C^\top(CSC^\top)^{-1}C\overline{\mathbf{x}} > T^2_{q-1, n-1}(\alpha)\\ \{C\boldsymbol{\mu} &: n(C\overline{\mathbf{x}} - C\boldsymbol{\mu})^\top(CSC^\top)^{-1}(C\overline{\mathbf{x}} - C\boldsymbol{\mu}) < T^2_{q-1, n-1}(\alpha)\}\\ \mathbf{c}^\top\overline{\mathbf{x}} &\pm \sqrt{T^2_{q-1, n-1}(\alpha)} \sqrt{\frac{\mathbf{c}^\top S\mathbf{c}}{n}} \end{aligned}
  • 当然,上述检验只适用于Σ\Sigma正定且没有特殊结构的前提下(否则检验功效会降低);另一方面,矩阵CC的行数可以是任意小于qq的值,只需包含希望检验的均值即可。【自由度也会相应变化】

两独立样本检验

考虑两组相互独立的随机变量

x11,⋯ ,x1n1∼i.i.dNp(μ1,Σ),x21,⋯ ,x2n2∼i.i.dNp(μ2,Σ)\mathbf{x}_{11},\cdots,\mathbf{x}_{1n_1}\stackrel{i.i.d}{\sim}N_p(\boldsymbol{\mu}_1,\Sigma),\quad \mathbf{x}_{21},\cdots,\mathbf{x}_{2n_2}\stackrel{i.i.d}{\sim}N_p(\boldsymbol{\mu}_2,\Sigma)

关注的检验假设:

H0:μ1−μ2=δ0vsH1:μ1−μ2≠δ0H_0:\boldsymbol{\mu}_1-\boldsymbol{\mu}_2=\boldsymbol{\delta}_0\quad\text{vs}\quad H_1:\boldsymbol{\mu}_1-\boldsymbol{\mu}_2\neq\boldsymbol{\delta}_0

其中δ0\boldsymbol{\delta}_0为已知常数向量。

  • μ1−μ2\boldsymbol{\mu}_1-\boldsymbol{\mu}_2的MLE为x‾1−x‾2\overline{\mathbf{x}}_1-\overline{\mathbf{x}}_2,方差Var(x‾1−x‾2)=(1n1+1n2)Σ\mathrm{Var}(\overline{\mathbf{x}}_1-\overline{\mathbf{x}}_2)=\left(\dfrac{1}{n_1}+\dfrac{1}{n_2}\right)\Sigma$
  • Σ\Sigma的无偏估计:Spooled=(n1−1)S1+(n2−1)S2n1+n2−2=A1+A2n1+n2−2S_{\text{pooled}}=\dfrac{(n_1-1)S_1+(n_2-1)S_2}{n_1+n_2-2}=\dfrac{A_1+A_2}{n_1+n_2-2}【A1+A2∼Wp(Σ,n1+n2−2)A_1+A_2\sim W_p(\Sigma,n_1+n_2-2)】$
  • 对上述假设的检验(似然比检验):

    T2=n1n2n1+n2(x‾1−x‾2−δ0)⊤Spooled−1(x‾1−x‾2−δ0)>Tp,n1+n2−22(α).T^2 = \frac{n_1 n_2}{n_1 + n_2} (\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2 - \boldsymbol{\delta}_0)^\top S_{\text{pooled}}^{-1} (\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2 - \boldsymbol{\delta}_0) > T_{p,n_1+n_2-2}^2(\alpha).
  • μ1−μ2\boldsymbol{\mu}_1-\boldsymbol{\mu}_2的置信域:$ n1n2n1+n2{x‾1−x‾2−(μ1−μ2)}⊤Spooled−1{x‾1−x‾2−(μ1−μ2)}<Tp,n1+n2−22(α).\frac{n_1 n_2}{n_1 + n_2} \{ \overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2 - (\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2) \}^\top S_{\text{pooled}}^{-1} \{ \overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2 - (\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2) \} < T_{p,n_1+n_2-2}^2(\alpha).
  • a⊤(μ1−μ2)\mathbf{a}^\top(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2)的T2T^2同时置信区间:$ a⊤(x‾1−x‾2)±Tp,n1+n2−22(α)⋅(1n1+1n2)a⊤Spooleda\mathbf{a}^\top(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2) \pm \sqrt{T_{p,n_1+n_2-2}^2(\alpha) \cdot \left(\frac{1}{n_1} + \frac{1}{n_2}\right) \mathbf{a}^\top S_{\text{pooled}} \mathbf{a}}

    这同样基于上述矩阵不等式变体:

    max⁡a≠0[a⊤{x‾1−x‾2−(μ1−μ2)}]2(1n1+1n2)a⊤Spooleda=T2\max_{\mathbf{a} \neq \mathbf{0}} \frac{[\mathbf{a}^\top \{\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2 - (\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2)\}]^2}{(\frac{1}{n_1} + \frac{1}{n_2})\mathbf{a}^\top S_{\text{pooled}}\mathbf{a}} = T^2

    等号条件:a^∝Spooled−1(x‾1−x‾2)\hat{\mathbf{a}} \propto S_{\text{pooled}}^{-1}(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2)。

  • Bonferroni同时置信区间(考虑μ1i−μ2i,i=1,⋯ ,p\mu_{1i}-\mu_{2i},i=1,\cdots,p):

    x‾1i−x‾2i±tn1+n2−2(α2m)n1+n2n1n2sii\overline{x}_{1i} - \overline{x}_{2i} \pm t_{n_1+n_2-2}\left(\frac{\alpha}{2m}\right) \sqrt{\frac{n_1 + n_2}{n_1 n_2} s_{ii}}
  • 当然,现实中也可能出现Σ1≠Σ2\Sigma_1\neq\Sigma_2(即两总体协方差不等)的情形,这也被称为(多元)Behrens-Fisher问题。

    • 这里不详细展开(比较复杂),只讨论大样本情形:用S1n1+S2n2\dfrac{S_1}{n_1}+\dfrac{S_2}{n_2}估计Var(x‾1−x‾2)\mathrm{Var}(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2),然后用卡方分布近似T2T^2分布即可。
    • 由此可见,在进行上述检验之前最好先检验两总体(协)方差是否相等

One-Way MANOVA

一元单因素方差分析请参见试验设计 Cheat Sheet,思路是类似的。

假设xlj∼indepNp(μl,Σ),j=1,⋯ ,nl,l=1,⋯ ,g\mathbf{x}_{lj}\overset{indep}{\sim} N_p(\boldsymbol{\mu}_l,\Sigma),j=1,\cdots,n_l,l=1,\cdots,g(gg个处理,每个处理nln_l个样本,每个样本pp个观测值,一般按时间点记录),那么可以建立效应模型

xlj=μ+τl+ϵij\mathbf{x}_{lj}=\boldsymbol{\mu}+\boldsymbol{\tau}_l+\boldsymbol{\epsilon}_{ij}

其中μ\boldsymbol{\mu}为总均值,τl\boldsymbol{\tau}_l为第ll个处理效应,ϵij\boldsymbol{\epsilon}_{ij}为随机误差,服从Np(0,Σ)N_p(\mathbf{0},\Sigma)。检验假设:

H0:μ1=⋯=μg⟹H0:τ1=⋯=τg=0H_0:\boldsymbol{\mu}_1=\cdots=\boldsymbol{\mu}_g\quad\Longrightarrow\quad H_0:\boldsymbol{\tau}_1=\cdots=\boldsymbol{\tau}_g=\mathbf{0}
  • 构造MANOVA表:

    SS (平方和矩阵) d.f. (自由度)
    B=∑l=1gnl(x‾l−x‾)(x‾l−x‾)⊤B = \displaystyle\sum_{l=1}^g n_l(\overline{\mathbf{x}}_l - \overline{\mathbf{x}})(\overline{\mathbf{x}}_l - \overline{\mathbf{x}})^\top g−1g - 1
    W=∑l=1g∑j=1nl(xlj−x‾l)(xlj−x‾l)⊤W = \displaystyle\sum_{l=1}^g \sum_{j=1}^{n_l}(\mathbf{x}_{l j} - \overline{\mathbf{x}}_l)(\mathbf{x}_{l j} - \overline{\mathbf{x}}_l)^\top n−gn - g
    T=B+W=∑l=1g∑j=1nl(xlj−x‾)(xlj−x‾)⊤T = B + W = \displaystyle\sum_{l=1}^g \sum_{j=1}^{n_l}(\mathbf{x}_{l j} - \overline{\mathbf{x}})(\mathbf{x}_{l j} - \overline{\mathbf{x}})^\top n−1n - 1

    其中n=∑l=1gnln=\displaystyle\sum_{l=1}^g n_l。由此可以得到检验统计量:

    Wilks’ Λ=∣W∣∣T∣∼H0Λp,g−1,n−g.\text{Wilks'} \ \Lambda = \frac{|W|}{|T|} \overset{H_0}{\sim} \Lambda_{p,g-1,n-g}.

    当Λ<Λp,g−1,n−g(α)\Lambda < \Lambda_{p,g-1,n-g}(\alpha)时拒绝H0H_0。(Wilks’ Λ\text{Wilks'} \ \Lambda分布在p,gp,g满足一定条件下可以转换为F分布)

    • 当nn足够大时,可采用下述Bartlett修正: −(n−1−p+g2)log⁡Λ→Lχp(g−1)2.-\left(n - 1 - \frac{p + g}{2}\right) \log \Lambda \xrightarrow{L} \chi^2_{p(g-1)}.
  • 下面考虑μkj−μlj,j=1,⋯ ,p, 1≤l<k≤g\mu_{kj}-\mu_{lj},j=1,\cdots,p,\ 1\leq l< k\leq g的Bonferroni同时置信区间:MLE为x‾kj−x‾lj\overline{x}_{kj}-\overline{x}_{lj},其满足

    Var(x‾kj−x‾lj)=(1nk+1nl)σjj\mathrm{Var}(\overline{x}_{kj}-\overline{x}_{lj})=\left(\frac{1}{n_k}+\frac{1}{n_l}\right)\sigma_{jj}

    又因为Σ^=Wn−g⟹σ^jj=wjjn−g\hat{\Sigma}=\dfrac{W}{n-g}\Longrightarrow\hat{\sigma}_{jj}=\dfrac{w_{jj}}{n-g},一共有m=pg(g−1)2m=\dfrac{pg(g-1)}{2}个均值差组合,因此SCI为

    x‾kj−x‾lj±tn−g(α2m)(1nk+1nl)wjjn−g.\overline{x}_{kj} - \overline{x}_{l j} \pm t_{n-g}\left(\frac{\alpha}{2m}\right) \sqrt{\left(\frac{1}{n_k} + \frac{1}{n_l}\right) \frac{w_{jj}}{n-g}}.

Two-Way MANOVA

在试验设计的RCBD里我们已经接触到双因素方差分析,这里我们再将其推广到多元情形。

设xlkr∼indepNp(μlk,Σ),l=1,⋯ ,g, k=1,⋯ ,b, r=1,2,⋯ ,n\mathbf{x}_{l k r} \overset{indep}{\sim} N_p(\boldsymbol{\mu}_{l k}, \Sigma),l=1, \cdots, g,\ k=1,\cdots,b,\ r=1,2,\cdots,n,其效应模型对应为

xlkr=μ+τl+βk+γlk+ϵlkr,\mathbf{x}_{l k r}=\boldsymbol{\mu} + \boldsymbol{\tau}_l + \boldsymbol{\beta}_k + \boldsymbol{\gamma}_{l k}+\boldsymbol{\epsilon}_{l k r},

其中∑l=1gτl=∑k=1bβk=∑l=1gγlk=∑k=1bγlk=0\displaystyle\sum_{l=1}^g \boldsymbol{\tau}_l = \sum_{k=1}^b \boldsymbol{\beta}_k = \sum_{l=1}^g \boldsymbol{\gamma}_{l k} = \sum_{k=1}^b \boldsymbol{\gamma}_{l k} = \mathbf{0},τl,βk\boldsymbol{\tau}_l,\boldsymbol{\beta}_k和γlk\boldsymbol{\gamma}_{lk}分别代表两个因素的主效应和交互效应。

  • 首先考虑交互效应假设的检验:H01:γlk=0, ∀l,kvsH1:Not H01H_{01}:\boldsymbol{\gamma}_{l k}=\mathbf{0},\ \forall l,k\quad\text{vs}\quad H_1: \text{Not }H_{01},如果不拒绝原假设,那么再检验两个主效应假设:

    H02:τl=0 ∀lvsH12:Not H02,H03:βk=0 ∀kvsH13:Not H03,\begin{aligned} H_{02} &: \boldsymbol{\tau}_l = \mathbf{0} \ \forall l \quad \text{vs} \quad H_{12} : \text{Not } H_{02}, \\ H_{03} &: \boldsymbol{\beta}_k = \mathbf{0} \ \forall k \quad \text{vs} \quad H_{13} : \text{Not } H_{03}, \end{aligned}
  • 平方和分解(从上到下分别为因素1平方和、因素2平方和、交互平方和与残差平方和)及在原假设下服从的分布:

    SSPfac1=∑l=1gbn(x‾l⋅−x‾)(x‾l⋅−x‾)⊤∼Wp(g−1,Σ),SSPfac2=∑k=1bgn(x‾⋅k−x‾)(x‾⋅k−x‾)⊤∼Wp(b−1,Σ),SSPint=∑l=1g∑k=1bn(x‾lk−x‾l⋅−x‾⋅k+x‾)(x‾lk−x‾l⋅−x‾⋅k+x‾)⊤∼Wp((g−1)(b−1),Σ),SSPres=∑l=1g∑k=1b∑r=1n(xlkr−x‾lk⋅)(xlkr−x‾lk⋅)⊤∼Wp(gb(n−1),Σ)\begin{aligned} \text{SSP}_{\text{fac1}} &= \sum_{l=1}^g bn(\overline{\mathbf{x}}_{l\cdot} - \overline{\mathbf{x}})(\overline{\mathbf{x}}_{l\cdot} - \overline{\mathbf{x}})^\top \sim W_p(g - 1, \Sigma), \\ \text{SSP}_{\text{fac2}} &= \sum_{k=1}^b gn(\overline{\mathbf{x}}_{\cdot k} - \overline{\mathbf{x}})(\overline{\mathbf{x}}_{\cdot k} - \overline{\mathbf{x}})^\top \sim W_p(b - 1, \Sigma), \\ \text{SSP}_{\text{int}} &= \sum_{l=1}^g \sum_{k=1}^b n(\overline{\mathbf{x}}_{lk} - \overline{\mathbf{x}}_{l\cdot} - \overline{\mathbf{x}}_{\cdot k} + \overline{\mathbf{x}})(\overline{\mathbf{x}}_{lk} - \overline{\mathbf{x}}_{l\cdot} - \overline{\mathbf{x}}_{\cdot k} + \overline{\mathbf{x}})^\top \sim W_p((g - 1)(b - 1), \Sigma), \\ \text{SSP}_{\text{res}} &= \sum_{l=1}^g \sum_{k=1}^b \sum_{r=1}^n (\mathbf{x}_{lkr} - \overline{\mathbf{x}}_{lk\cdot})(\mathbf{x}_{lkr} - \overline{\mathbf{x}}_{lk\cdot})^\top \sim W_p(gb(n - 1), \Sigma) \end{aligned}

    由此得到上述三个检验的统计量与拒绝域:

    Λint=∣SSPres∣∣SSPint+SSPres∣=dΛp((g−1)(b−1),gb(n−1)),Λfac1=∣SSPres∣∣SSPfac1+SSPres∣=dΛp((g−1),gb(n−1)),Λfac2=∣SSPres∣∣SSPfac2+SSPres∣=dΛp((b−1),gb(n−1)).\begin{aligned} \Lambda_{\text{int}} &= \frac{|\text{SSP}_{\text{res}}|}{|\text{SSP}_{\text{int}} + \text{SSP}_{\text{res}}|} \overset{d}{=} \Lambda_p((g - 1)(b - 1), gb(n - 1)), \\ \Lambda_{\text{fac1}} &= \frac{|\text{SSP}_{\text{res}}|}{|\text{SSP}_{\text{fac1}} + \text{SSP}_{\text{res}}|} \overset{d}{=} \Lambda_p((g - 1), gb(n - 1)), \\ \Lambda_{\text{fac2}} &= \frac{|\text{SSP}_{\text{res}}|}{|\text{SSP}_{\text{fac2}} + \text{SSP}_{\text{res}}|} \overset{d}{=} \Lambda_p((b - 1), gb(n - 1)). \end{aligned}

    这里的分布在nbgnbg足够大时可用−(m2−p+1−m12)ln⁡Λp(m1,m2)∼⋅χpm12\displaystyle -\left(m_2 - \frac{p + 1 - m_1}{2}\right) \ln \Lambda_p(m_1, m_2) \overset{\cdot}{\sim} \chi^2_{pm_1}近似。

  • Bonferroni同时置信区间(假设H01H_{01}成立):

    1. τl−τm\boldsymbol{\tau}_l-\boldsymbol{\tau}_m(m<lm < l):x‾l⋅i−x‾m⋅i±tgb(n−1)(αpg(g−1))Eiigb(n−1)⋅2bn,i=1,⋯ ,p\displaystyle\overline{x}_{l \cdot i} - \overline{x}_{m \cdot i} \pm t_{gb(n-1)} \left( \frac{\alpha}{pg(g-1)} \right) \sqrt{\frac{E_{ii}}{gb(n-1)} \cdot \frac{2}{bn}}, \quad i = 1, \cdots, p【EiiE_{ii}是SSPres\text{SSP}_{\text{res}}的第ii个对角线元素,下同】
    2. βk−βq\boldsymbol{\beta}_k-\boldsymbol{\beta}_q(q<kq < k):x‾⋅ki−x‾⋅qi±tgb(n−1)(αpb(b−1))Eiigb(n−1)⋅2gn,i=1,⋯ ,p\displaystyle \overline{x}_{\cdot k i} - \overline{x}_{\cdot q i} \pm t_{gb(n-1)} \left( \frac{\alpha}{pb(b-1)} \right) \sqrt{\frac{E_{ii}}{gb(n-1)} \cdot \frac{2}{gn}}, \quad i = 1, \cdots, p

    当然如果拒绝H01H_{01},就只能固定一个因素固定水平下,计算另外一个因素两水平差异SCI。

轮廓分析

同样考虑xlj∼indepNp(μl,Σ),j=1,⋯ ,nl,l=1,⋯ ,g\mathbf{x}_{lj}\overset{indep}{\sim} N_p(\boldsymbol{\mu}_l,\Sigma),j=1,\cdots,n_l,l=1,\cdots,g,那么对每个处理ll,其均值向量μl=(μl1,μl2,⋯ ,μlp)⊤\boldsymbol{\mu}_l=(\mu_{l1},\mu_{l2},\cdots,\mu_{lp})^\top各分量可以按序用折线连接,得到一张折线图(也被称为均值轮廓)。对于均值轮廓,我们可以提出下述检验问题:

  1. 不同处理的均值轮廓是否平行(相似)?这本质是检验是否有时间-处理交互作用;
  2. 如果不同处理均值轮廓平行,那么它们是否重合?即检验是否有处理效应;
  3. 如果不同处理均值轮廓平行,那么它们是否水平?即检验是否有时间效应。

后两个假设可以在第一个假设不被拒绝时同时进行检验。下面我们对这些假设进行形式化:

  1. EQ(重合且水平):H0:μ1=⋯=μpH_0:\mu_1=\cdots=\mu_p(没有任何时间/处理/交互效应,退化为一个点)
  2. PR(平行):H0:μx,i−μx,i−1=μy,i−μy,i−1i=2,⋯ ,pH_0 : \mu_{x,i} - \mu_{x,i-1} = \mu_{y,i} - \mu_{y,i-1}\quad i = 2, \cdots, p
  3. LE(重合):H0:μx,i=μy,i,i=1,⋯ ,pH_0 : \mu_{x,i} = \mu_{y,i}, \quad i = 1, \cdots, p
  4. FL(水平):H0:μx,1=μx,2=⋯=μx,p,μy,1=μy,2=⋯=μy,pH_0 : \mu_{x,1} = \mu_{x,2} = \cdots = \mu_{x,p},\quad \mu_{y,1} = \mu_{y,2} = \cdots = \mu_{y,p}

检验顺序一般为:是否平行(H01H_{01})⟹\Longrightarrow是否重合(H02H_{02})⟹\Longrightarrow是否水平(H03H_{03})。具体的检验统计量如下:

  1. H01H_{01}等价形式:H01:Cμ1=Cμ2H_{01}: C\boldsymbol{\mu}_1 = C\boldsymbol{\mu}_2,其中C(p−1)×p=[−1100⋯000−110⋯00⋮⋮⋮⋮⋱⋮⋮0000⋯−11]C_{(p-1) \times p} = \begin{bmatrix} -1 & 1 & 0 & 0 & \cdots & 0 & 0 \\ 0 & -1 & 1 & 0 & \cdots & 0 & 0 \\ \vdots & \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & 0 & 0 & \cdots & -1 & 1 \end{bmatrix}。检验统计量与拒绝域: T2=(x‾1−x‾2)⊤C⊤[(1n1+1n2)CSpooledC⊤]−1C(x‾1−x‾2)>(n1+n2−2)(p−1)n1+n2−pFp−1,n1+n2−p(α)\begin{aligned} T^2 &= (\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2)^\top C^\top \left[ \left( \frac{1}{n_1} + \frac{1}{n_2} \right) C S_{\text{pooled}} C^\top \right]^{-1}C(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2)\\ &> \frac{(n_1 + n_2 - 2)(p - 1)}{n_1 + n_2 - p} F_{p-1, n_1+n_2-p}(\alpha) \end{aligned}
  2. H02H_{02}等价形式:H02:1⊤μ1=1⊤μ2H_{02}:\mathbf{1}^\top\boldsymbol{\mu}_1=\mathbf{1}^\top\boldsymbol{\mu}_2。检验统计量与拒绝域: T2=1⊤(x‾1−x‾2)[(1n1+1n2)1⊤Spooled1]−11⊤(x‾1−x‾2)=(1⊤(x‾1−x‾2)(1n1+1n2)1⊤Spooled1)2>tn1+n2−22(α2)=F1,n1+n2−2(α)\begin{aligned} T^2 &= \mathbf{1}^\top(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2) \left[ \left( \frac{1}{n_1} + \frac{1}{n_2} \right) \mathbf{1}^\top S_{\text{pooled}} \mathbf{1} \right]^{-1} \mathbf{1}^\top(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2) \\ &= \left( \frac{\mathbf{1}^\top(\overline{\mathbf{x}}_1 - \overline{\mathbf{x}}_2)}{\sqrt{\left( \frac{1}{n_1} + \frac{1}{n_2} \right) \mathbf{1}^\top S_{\text{pooled}} \mathbf{1}}} \right)^2 > t^2_{n_1+n_2-2}\left(\frac{\alpha}{2}\right) = F_{1, n_1+n_2-2}(\alpha) \end{aligned}
  3. H03H_{03}等价形式:Cμ=0C\boldsymbol{\mu}=0。检验统计量与拒绝域: (n1+n2)x‾⊤C⊤[CSC⊤]−1Cx‾>(n1+n2−1)(p−1)n1+n2−p+1Fp−1,n1+n2−p+1(α)(n_1 + n_2)\overline{\mathbf{x}}^\top C^\top \left[CSC^\top \right]^{-1}C\overline{\mathbf{x}} > \frac{(n_1 + n_2 - 1)(p - 1)}{n_1 + n_2 - p + 1} F_{p-1, n_1+n_2-p+1}(\alpha)