什么是话题分析？话题分析的基本思想是用单词的分布表示话题，用话题的分布表示文本。

  • 具体而言，话题分析方法可以自动地从文本数据中学习话题的单词分布和文本的话题分布，发现潜在的话题，以表示文本的内容，从而对文本的内容进行分析。
  • 话题分析模型可分为概率模型和非概率模型。其中，非概率模型的代表是潜在语义分析（LSA），而概率模型的代表是潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）。

注：话题分析模型也属于自然语言处理中的统计模型，不过与n-gram，HMM代表的序列模型处理的任务有所区别。

潜在语义分析

  • 潜在语义分析（Latent Semantic Analysis，LSA）最早由Deerwester等人于1990年正式提出，最初用于信息检索，因此也被称作潜在语义索引（Latent Semantic Indexing，LSI）。
  • LSA的核心在于将文本集合表示为单词-文本矩阵，并对矩阵进行因子分解，从而得到话题向量空间，以及文本在话题向量空间的表示。

单词向量空间

文本信息处理的一个核心问题是如何对文本的语义内容进行量化，并进行文本之间的语义相似度计算。

  • 一个简单的思路是构建单词向量空间：将文本集合的每一段文本用一个向量表示，向量的每一维对应一个单词，其数值为单词出现的频次。此时文本之间的语义相似度使用向量内积或余弦相似度衡量。
    • 下面是符号定义：记文本集合D={d1,d2,⋯ ,dn}\mathcal{D}=\{d_1,d_2,\cdots,d_n\}，所有单词的集合W={w1,⋯ ,wm}\mathcal{W}=\{w_1,\cdots,w_m\}，那么单词在文本中出现的数据用一个单词-文本矩阵X\mathbf{X}表示： X=[x11x12⋯x1nx21x22⋯x2n⋮⋮⋮⋮xm1xm2⋯xmn]\mathbf{X}=\begin{bmatrix} x_{11}&x_{12}&\cdots&x_{1n}\\ x_{21}&x_{22}&\cdots&x_{2n}\\ \vdots&\vdots&\vdots&\vdots\\ x_{m1}&x_{m2}&\cdots&x_{mn}\\ \end{bmatrix} 其中元素xijx_{ij}表示单词wiw_i在文本djd_j中出现的频数或权值。可以预见的是，这个矩阵是一个稀疏矩阵。
    • 如果使用权值，则一般会采用单词频率-逆文本频率（TF-IDF），其表达式为 TF-IDFij=tfijtfjlog⁡dfdfi,i=1,2,⋯ ,m,j=1,2,⋯ ,n\text{TF-IDF}_{ij}=\frac{\text{tf}_{ij}}{\text{tf}_{j}}\log\frac{\text{df}}{\text{df}_i},\quad i=1,2,\cdots,m,\quad j=1,2,\cdots,n 其中tfij\text{tf}_{ij}是单词wiw_i出现在文本djd_j中的频数，tfj\text{tf}_{j}是文本djd_j的总词数，dfi\text{df}_i是含有单词wiw_i的文本数，df\text{df}是文本集合D\mathcal{D}的全部文本数（即上面的nn）。
      • TF-IDF综合度量了单词在文本中的出现频率和单词在文本集合分布的集中程度，其值越高表明该词越能反映文章的信息。
    • 由单词-文本矩阵构建的单词向量空间中，文本可用列向量xj=[x1j⋮xmj]\mathbf{x}_j=\begin{bmatrix}x_{1j}\\\vdots\\x_{mj}\end{bmatrix}表示，而文本did_i与djd_j之间的相似度可用xi⋅xj\mathbf{x}_i\cdot\mathbf{x}_j或xi⋅xj∥xi∥∥xj∥\dfrac{\mathbf{x}_i\cdot\mathbf{x}_j}{\|\mathbf{x}_i\|\|\mathbf{x}_j\|}表示。
  • 直观上，在两个文本中共同出现的单词越多，其语义内容就越相近，相似度越高。这在一定程度上能够满足应用的需求，至今仍在文本信息检索、文本数据挖掘等领域被广泛使用，可以认为是文本信息处理的一个基本原理。
  • 单词向量空间模型的优点是模型简单，计算效率高。然而它也有一定的局限性：因为自然语言存在有一词多义性及多词一义性，所以内积相似度未必能够准确表达两个文本的语义相似度。

话题向量空间

  • 对于上述单词的一词多义性与多词一义性的问题，我们引入了“话题”这一概念。话题可以由若干个语义相关的单词表示，同义词可以表示同一个话题，而多义词可以表示不同的话题。
  • 于是，类似单词向量空间，我们也可以构建话题向量空间：用话题空间的一个向量表示该文本，该向量的每一分量对应一个话题，其数值为该话题在该文本中出现的权值。话题向量空间的维度往往远低于单词向量空间。
  • 具体符号定义如下：文本、单词集合与单词-文本矩阵符号定义同上。设文本总共包含kk个话题，每个话题由一个定义在W\mathcal{W}上的mm维向量表示： tl=[t1l⋮tml],l=1,2,⋯ ,k\mathbf{t}_l=\begin{bmatrix}t_{1l}\\\vdots\\t_{ml}\end{bmatrix},\quad l=1,2,\cdots,k 其中tilt_{il}代表单词wiw_i在话题tlt_l的权值，权值越大，该单词在该话题中的重要度就越高。此时t1,⋯ ,tk\mathbf{t}_1,\cdots,\mathbf{t}_k就构成了一个kk维话题向量空间，记作T\mathbf{T}。
    • T=[t1,⋯ ,tk]\mathbf{T}=[\mathbf{t}_1,\cdots,\mathbf{t}_k]也被称为单词-话题矩阵，可看作X\mathbf{X}的一个子空间。
  • 下面将文本向量xj\mathbf{x}_j投影到话题向量空间中，得到投影向量 yj=[y1j⋮ykj],j=1,2,⋯ ,n\mathbf{y}_j=\begin{bmatrix}y_{1j}\\\vdots\\y_{kj}\end{bmatrix},\quad j=1,2,\cdots,n 其中yljy_{lj}是文本djd_j中话题tl\mathbf{t}_l的权值，权值越大，该话题在该文本中的重要度就越高。
    • 此时Y=[y1,⋯ ,yn]\mathbf{Y}=[\mathbf{y}_1,\cdots,\mathbf{y}_n]也被称为话题-文本矩阵。
  • 在定义好X,T\mathbf{X},\mathbf{T}和Y\mathbf{Y}三个矩阵后，我们就来探究它们之间的关系：由于文本向量在话题向量空间可近似表示为 xj≈∑i=1kyijtk=Tyj\mathbf{x}_j\approx\sum_{i=1}^ky_{ij}\mathbf{t}_k=\mathbf{T}\mathbf{y}_j 因此可以得到X≈TY\mathbf{X}\approx\mathbf{T}\mathbf{Y}。这便是潜在语义分析的核心模型。

LSA算法

  • 由上述分析可知，LSA算法的关键在于如何将矩阵X\mathbf{X}分解为话题向量与文本在话题向量空间的表示。这里就需要用到奇异值分解与低秩近似的知识（可参见CS 127笔记）。
  • 矩阵X\mathbf{X}的截断奇异值分解如下： X≈UkΣkVk⊤=[u1u2⋯uk][σ1σ2⋱σk][v1⊤v2⊤⋮vk⊤]\mathbf{X} \approx \mathbf{U}_k \mathbf{\Sigma}_k \mathbf{V}_k^\top = \begin{bmatrix} u_1 & u_2 & \cdots & u_k \end{bmatrix} \begin{bmatrix} \sigma_1 & & & \\ & \sigma_2 & & \\ & & \ddots & \\ & & & \sigma_k \end{bmatrix} \begin{bmatrix} v_1^\top \\ v_2^\top \\ \vdots \\ v_k^\top \end{bmatrix} 其中k≤n≤mk\leq n\leq m，σ1,⋯ ,σk\sigma_1,\cdots,\sigma_k为矩阵前kk个最大奇异值，uiu_i为mm维列向量，vjv_j为nn维列向量。
    • 经过分解后，做奇异向量组Uk\mathbf{U}_k即构成话题向量空间，而文本djd_j的近似表达式 xj≈Uk(ΣkVk⊤)j=[u1u2⋯uk][σ1vj1σ2vj2⋮σkvjk]=∑l=1kσlvjlul,j=1,2,⋯ ,n\begin{aligned} \boldsymbol{x}_j \approx \mathbf{U}_k (\mathbf{\Sigma}_k \mathbf{V}_k^\top)_j &= \begin{bmatrix} \boldsymbol{u}_1 & \boldsymbol{u}_2 & \cdots & \boldsymbol{u}_k \end{bmatrix} \begin{bmatrix} \sigma_1 v_{j1} \\ \sigma_2 v_{j2} \\ \vdots \\ \sigma_k v_{jk} \end{bmatrix}\\ &= \sum_{l=1}^{k} \sigma_l v_{jl} \boldsymbol{u}_l, \quad j = 1, 2, \cdots, n \end{aligned} 这说明(ΣkVk⊤)j(\mathbf{\Sigma}_k \mathbf{V}_k^\top)_j可看作djd_j在话题向量空间的表示。因此ΣkVk⊤\mathbf{\Sigma}_k \mathbf{V}_k^\top可看作文本集合在话题空间的表示。

非负矩阵分解（NMF）

  • 注意到上述LSA算法中得到的话题空间向量与文本话题空间表示的元素都可能为负，这会导致得到的主题难以直接解释。对此，我们考虑将元素限制为非负，这样元素就可以被解释为权重，从而增强模型结果的可读性。

  • 下面给出符号定义：对于m×nm\times n的非负单词-文本矩阵X\mathbf{X}，将其分解为非负矩阵U∈Rm×k\mathbf{U}\in\R^{m\times k}和V∈Rk×n\mathbf{V}\in\R^{k\times n}，使得X≈UV\mathbf{X}\approx\mathbf{U}\mathbf{V}。

    • 通过上述分解，得到U\mathbf{U}为话题向量空间，而V\mathbf{V}为文本向量在话题向量空间的表示。【可理解为话题向量的线性叠加】

  • 为了让非负矩阵分解尽量逼近原始矩阵，我们考虑将其转化为最优化问题，具体形式有以下两种：

    1. 平方损失： min⁡U,V∥X−UV∥2s.t.U,V⩾0\begin{aligned} & \underset{\mathbf{U}, \mathbf{V}}{\operatorname{min}} && \|\mathbf{X} - \mathbf{U V}\|^2 \\ & \text{s.t.} && \mathbf{U}, \mathbf{V} \geqslant 0 \end{aligned} 其中∥A−B∥2=∑i,j(aij−bij)2\displaystyle\|\mathbf{A}-\mathbf{B}\|^2=\sum_{i,j}(a_{ij}-b_{ij})^2。
    2. 散度损失： min⁡U,VD(X∥UV)s.t.U,V⩾0\begin{aligned} & \underset{\mathbf{U}, \mathbf{V}}{\operatorname{min}} && D(\mathbf{X}\|\mathbf{UV}) \\ & \text{s.t.} && \mathbf{U}, \mathbf{V} \geqslant 0 \end{aligned} 其中D(A∥B)=∑i,j(aijlog⁡aijbij−aij+bij)\displaystyle D ( \mathbf{A} \| \mathbf{B} ) = \sum _ { i , j } \left( a _ { i j } \log \frac { a _ { i j } } { b _ { i j } } - a _ { i j } + b _ { i j } \right)。【广义散度，当∑i,jaij=bij=1\displaystyle \sum _ { i , j }a_{ij}=b_{ij}=1时退化为KL散度】

  • 那么如何求解这个最优化问题？直接使用梯度下降效率较低，一个较好的方法是采用下述乘法更新规则：

    • 对平方损失∥X−UV⊤∥2\|\mathbf{X} - \mathbf{U}\mathbf{V}^\top\|^2中参数作如下处理： Vij←Vij(U⊤X)ij(U⊤UV)ijUil←Uil(XV⊤)il(UVV⊤)il\begin{aligned} V_{ij} &\leftarrow V_{ij} \frac{ (\mathbf{U}^\top \mathbf{X})_{ij} }{ (\mathbf{U}^\top \mathbf{UV})_{ij} }\\ U_{il} &\leftarrow U_{il} \frac{ (\mathbf{X} \mathbf{V}^\top)_{il} }{ (\mathbf{UV} \mathbf{V}^\top)_{il} } \end{aligned}
    • 对散度损失 D(X∥UV)D(\mathbf{X} \| \mathbf{UV})中参数作如下处理： Vij←Vij∑i[UilXij(UV)ij]∑iUilUil←Uil∑j[UljXij(UV)ij]∑jVij\begin{aligned} V_{ij} &\leftarrow V_{ij} \frac{ \displaystyle \sum_i \left[ \frac{U_{il} X_{ij}}{ (\mathbf{UV})_{ij}} \right] }{ \displaystyle \sum_i U_{il} }\\ U_{il} &\leftarrow U_{il} \frac{ \displaystyle \sum_j \left[ \frac{U_{lj} X_{ij}}{ (\mathbf{UV})_{ij}}\right] }{ \displaystyle \sum_j V_{ij} } \end{aligned}

    则对应损失函数不增加，当且仅当UU和VV是对应损失函数的稳定点时函数的更新不变。

    补充

    对上述更新表达式的简单推导如下（详细推导可参见Lee & Seung 论文或知乎）：

    1. 平方损失函数的梯度： ∂∥X−UV∥2∂Uil=−∑j[Xij−(UV)ij]Vlj=−[(XV⊤)il−(UVV⊤)il],∂∥X−UV∥2∂Vlj=−[(U⊤X)lj−(U⊤UV)lj].\begin{aligned} \frac{\partial \|\mathbf{X} - \mathbf{U V}\|^2}{\partial U_{il}} &= -\sum_j [X_{ij} - (\mathbf{U}\mathbf{V})_{ij}] V_{lj}\\ &= -[(\mathbf{X}\mathbf{V}^\top)_{il} - (\mathbf{U}\mathbf{V}\mathbf{V}^\top)_{il}],\\ \frac{\partial \|\mathbf{X} - \mathbf{U V}\|^2}{\partial V_{lj}} &= -[(\mathbf{U}^\top\mathbf{X})_{lj} - (\mathbf{U}^\top\mathbf{U}\mathbf{V})_{lj}]. \end{aligned} 于是又梯度下降法的更新规则得到 Uil=Uil+λil[(XV⊤)il−(UVV⊤)il]Vlj=Vlj+μlj[(U⊤X)lj−(U⊤UV)lj]\begin{aligned} U_{il} &= U_{il} + \lambda_{il}[(\mathbf{X}\mathbf{V}^\top)_{il} - (\mathbf{U}\mathbf{V}\mathbf{V}^\top)_{il}]\\ V_{lj} &= V_{lj} + \mu_{lj}[(\mathbf{U}^\top\mathbf{X})_{lj} - (\mathbf{U}^\top\mathbf{U}\mathbf{V})_{lj}] \end{aligned} 其中λil,μlj\lambda_{il}, \mu_{lj}为步长，若取 λil=Uil(UVV⊤)il,μlj=Vlj(U⊤UV)lj\lambda_{il} = \frac{U_{il}}{(\mathbf{U}\mathbf{V}\mathbf{V}^\top)_{il}}, \quad \mu_{lj} = \frac{V_{lj}}{(\mathbf{U}^\top\mathbf{U}\mathbf{V})_{lj}} 即得平方损失函数的乘法更新规则。
    2. 散度损失函数的梯度： ∂D(X∥UV)∂Uil=∑jVlj−∑jXijVlj(UV)ij=∑jVlj[1−Xij(UV)ij],∂D(X∥UV)∂Vlj=∑iUil−∑iXijUil(UV)ij=∑iUil[1−Xij(UV)ij].\begin{aligned} \frac{\partial D(\mathbf{X}\|\mathbf{U}\mathbf{V})}{\partial U_{il}} &= \sum_j V_{lj} - \sum_j \frac{X_{ij}V_{lj}}{(\mathbf{U}\mathbf{V})_{ij}} = \sum_j V_{lj}\Big[1 - \frac{X_{ij}}{(\mathbf{U}\mathbf{V})_{ij}}\Big],\\ \frac{\partial D(\mathbf{X}\|\mathbf{U}\mathbf{V})}{\partial V_{lj}} &= \sum_i U_{il} - \sum_i \frac{X_{ij}U_{il}}{(\mathbf{U}\mathbf{V})_{ij}} = \sum_i U_{il}\Big[1 - \frac{X_{ij}}{(\mathbf{U}\mathbf{V})_{ij}}\Big]. \end{aligned} 于是由梯度下降法的更新规则得到 Uil=Uil−λil∑jVlj[1−Xij(UV)ij],Vlj=Vlj−μlj∑iUil[1−Xij(UV)ij],\begin{aligned} U_{il} &= U_{il} - \lambda_{il} \sum_j V_{lj}\Big[1 - \frac{X_{ij}}{(\mathbf{U}\mathbf{V})_{ij}}\Big],\\ V_{lj} &= V_{lj} - \mu_{lj} \sum_i U_{il}\Big[1 - \frac{X_{ij}}{(\mathbf{U}\mathbf{V})_{ij}}\Big], \end{aligned} λil,μlj\lambda_{il},\mu_{lj}同上，若取 λil=Uil∑jVlj,μlj=Vlj∑iUil,\lambda_{il} = \frac{U_{il}}{\displaystyle\sum_j V_{lj}}, \qquad \mu_{lj} = \frac{V_{lj}}{\displaystyle\sum_i U_{il}}, 即得散度损失函数的乘法更新规则。

    选取初始矩阵U\mathbf{U}和V\mathbf{V}为非负矩阵，可以保证迭代过程及结果的矩阵U\mathbf{U}和V\mathbf{V}均为非负。

    • 另外，每次迭代后都需要对U\mathbf{U}的列向量归一化，使其基向量为单位向量。

概率潜在语义分析

  • 概率潜在语义分析（Probabilistic Latent Semantic Analysis, PLSA）由Thomas Hofmann于1999年提出，使用概率生成模型对文本进行话题分析。整个模型表示文本生成话题，话题生成单词，从而得到文本-单词共现数据的过程。
  • 具体而言，文本-单词共现数据基于如下的概率模型产生：首先有话题的概率分布，然后有话题给定条件下文本的条件概率分布，以及话题给定条件下单词的条件概率分布。概率潜在语义分析就是发现由隐变量表示的话题，即潜在语义。

生成模型

  • 单词集合W\mathcal{W}与文本集合D\mathcal{D}定义同上，另设话题集合Z={z1,⋯ ,zk}\mathcal{Z}=\{z_1,\cdots,z_k\}。取w∈W,d∈D,z∈Zw\in\mathcal{W},d\in\mathcal{D},z\in\mathcal{Z}，则可以定义如下概率：

    • P(d)P(d)：生成文本dd的概率；
    • P(z∣d)P(z|d)：文本dd生成话题zz的概率；
    • P(w∣z)P(w|z)：话题zz生成单词ww的概率。

    由此得到文本-单词共现数据的生成过程：

    1. 先根据P(d)P(d)分布生成nn个文本；
    2. 对于每个文本，根据P(z∣d)P(z|d)生成ll个话题（ll为文本长度，这里假定每个文本长度都相同）；
    3. 对于每个话题，根据P(w∣z)P(w|z)随机选取一个单词ww。

    由此得到(w,z,d)(w,z,d)三元集合，其中ww和dd为观测变量，zz为隐变量。观测数据形式为单词-文本矩阵，元素为(w,d)(w,d)同时出现的次数。

  • 文本-单词共现数据DD的生成概率可由DD中所有(w,d)(w,d)组合出现概率的乘积表示：

    P(D)=∏(w,d)P(w,d)f(w,d)P(D)=\prod_{(w,d)}P(w,d)^{f(w,d)}

    其中f(w,d)f(w,d)表示(w,d)(w,d)的出现次数（总次数为l×nl\times n）。每个(w,d)(w,d)出现的概率计算公式如下：

    P(w,d)=P(d)P(w∣d)=P(d)∑zP(w,z∣d)=P(d)∑zP(z∣d)P(w∣z)\begin{aligned} P(w,d)&=P(d)P(w|d)\\ &=P(d)\sum_{z}P(w,z|d)\\ &=P(d)\sum_{z}P(z|d)P(w|z) \end{aligned}

    其中最后一个等号使用了生成模型的一个假设：在话题zz给定的条件下，单词ww与文本dd条件独立。

  • 生成模型的概率有向图形式如下：PLSA GM

共现模型

  • 共现模型在共现数据DD出现概率形式上与生成模型完全相同，唯一的区别在于(w,d)(w,d)出现概率的表达式： P(w,d)=∑z∈ZP(z)P(w∣z)P(d∣z)P(w,d)=\sum_{z\in\mathcal{Z}}P(z)P(w|z)P(d|z) 其同样利用了上述生成模型的假设。
  • 共现模型对应的概率有向图形式如下：PLSA CM
  • 生成模型刻画文本-单词共现数据生成的过程，共现模型描述文本-单词共现数据拥有的模式。前者属于非对称模型，而后者属于对称模型。

PLSA的性质

  • 由上述概率模型表达式可知，PLSA将原本表示P(w,d)P(w,d)需要的参数量O(mn)O(mn)降到了表示P(w∣z)P(w|z)和P(d∣z)P(d|z)的参数量O((m+n)k)O((m+n)k)（k≪min⁡{m,n}k\ll\min\{m,n\}），由此减少了学习过程中过拟合的可能性。
  • 另一方面，PLSA的共现模型也可以用LSA的矩阵分解形式表示： X′=U′Σ′V′⊤⟹{X′=[P(w,d)]m×nU′=[P(w∣z)]m×kΣ′=[P(z)]k×kV′=[P(d∣z)]n×k\mathbf{X}' = \mathbf{U}' \boldsymbol{\Sigma}' \mathbf{V}'^\top\Longrightarrow \begin{cases} \mathbf{X}' &= [P(w,d)]_{m \times n} \\ \mathbf{U}' &= [P(w|z)]_{m \times k} \\ \boldsymbol{\Sigma}' &= [P(z)]_{k \times k} \\ \mathbf{V}' &= [P(d|z)]_{n \times k} \end{cases} 注意这里U′\mathbf{U}'和V′\mathbf{V}'天然满足非负性与归一化性质。实际上，PLSA与使用散度损失的NMF基本等价。

优化算法

概率潜在语义分析模型是含有隐变量的模型，其学习通常使用EM算法。关于EM算法的详细理论会在之后介绍，这里只给出核心推导（以生成模型为例）：

  • 以P(D)P(D)作为似然函数，那么其对数似然函数为 L=∑i=1m∑j=1nf(wi,dj)log⁡P(wi,dj)=∑i=1m∑j=1nf(wi,dj)log⁡[∑l=1kP(wi∣zl)P(zl∣dj)]\begin{aligned} L &= \sum_{i=1}^m \sum_{j=1}^n f(w_i, d_j) \log P(w_i, d_j) \notag \\ &= \sum_{i=1}^m \sum_{j=1}^n f(w_i, d_j) \log \left[ \sum_{l=1}^k P(w_i|z_l) P(z_l|d_j) \right] \end{aligned} 对DD加入隐变量zz，再对zz求期望得到Q函数： Q=∑l=1k{∑j=1nf(dj)[log⁡P(dj)+∑i=1mf(wi,dj)f(dj)log⁡(P(wi∣zl)P(zl∣dj))]P(zl∣wi,dj)}Q = \sum_{l=1}^k \left\{ \sum_{j=1}^n f(d_j) \left[ \log P(d_j) + \sum_{i=1}^m \frac{f(w_i, d_j)}{f(d_j)} \log \bigl( P(w_i|z_l) P(z_l|d_j) \bigr) \right] P(z_l|w_i, d_j) \right\} 其中f(dj)=∑i=1mf(wi,dj)\displaystyle f(d_j)=\sum_{i=1}^m f(w_i,d_j)。
  • 下面对P(wi∣zl)P(w_i|z_l)和P(zl∣dj)P(z_l|d_j)进行参数估计：
    • E步：由于P(dj)=f(dj)∑j′=1nf(dj′)P(d_j)=\dfrac{f(d_j)}{\displaystyle\sum_{j'=1}^n f(d_{j'})}可直接由数据估计得到，故可对Q函数进行简化： Q′=∑i=1m∑j=1nf(wi,dj)∑l=1kP(zl∣wi,dj)log⁡[P(wi∣zl)P(zl∣dj)]Q' = \sum_{i=1}^m \sum_{j=1}^n f(w_i, d_j) \sum_{l=1}^k P(z_l|w_i, d_j) \log\bigl[ P(w_i|z_l) P(z_l|d_j) \bigr] 其中P(zl∣wi,dj)P(z_l|w_i, d_j)为上一轮估计参数通过贝叶斯公式得到的后验概率： P(zl∣wi,dj)=P(wi∣zl)P(zl∣dj)∑l′=1kP(wi∣zl′)P(zl′∣dj)P(z_l|w_i, d_j) = \frac{P(w_i|z_l) P(z_l|d_j)}{\displaystyle\sum_{l'=1}^k P(w_i|z_{l'}) P(z_{l'}|d_j)}
    • M步：由于参数P(wi∣zl)P(w_i|z_l)和P(zl∣dj)P(z_l|d_j)有如下约束： ∑i=1mP(wi∣zl)=1,l=1,2,⋯ ,k∑l=1kP(zl∣dj)=1,j=1,2,⋯ ,n\begin{aligned} &\sum_{i=1}^m P(w_i|z_l) = 1, \quad l = 1, 2, \cdots, k\\ &\sum_{l=1}^k P(z_l|d_j) = 1, \quad j = 1, 2, \cdots, n \end{aligned} 使用拉格朗日法（具体略）对Q’函数求条件极值，得到参数估计表达式： P(wi∣zl)=∑j=1nf(wi,dj)P(zl∣wi,dj)∑i′=1m∑j=1nf(wi′,dj)P(zl∣wi′,dj)P(zl∣dj)=∑i=1mf(wi,dj)P(zl∣wi,dj)f(dj)\begin{aligned} P(w_i|z_l) &= \frac{\displaystyle\sum_{j=1}^n f(w_i, d_j) P(z_l|w_i, d_j)}{\displaystyle\sum_{i'=1}^m \sum_{j=1}^n f(w_{i'}, d_j) P(z_l|w_{i'}, d_j)} \\ P(z_l|d_j) &= \frac{\displaystyle\sum_{i=1}^m f(w_i, d_j) P(z_l|w_i, d_j)}{f(d_j)} \end{aligned}
    共现模型推导

    最后给出共现模型的EM算法迭代表达式，具体推导留给读者：

    • E步： P(zl∣wi,dj)=P(zl) P(wi∣zl) P(dj∣zl)∑l′=1kP(zl′) P(wi∣zl′) P(dj∣zl′)P(z_l|w_i, d_j) = \frac{P(z_l) \, P(w_i|z_l) \, P(d_j|z_l)}{\displaystyle \sum_{l'=1}^k P(z_{l'}) \, P(w_i|z_{l'}) \, P(d_j|z_{l'})}
    • M步： P(wi∣zl)=∑j=1nf(wi,dj)P(zl∣wi,dj)∑i′=1m∑j=1nf(wi′,dj)P(zl∣wi′,dj)P(dj∣zl)=∑i=1mf(wi,dj)P(zl∣wi,dj)∑i=1m∑j′=1nf(wi,dj′)P(zl∣wi,dj′)P(zl)=∑i=1m∑j=1nf(wi,dj)P(zl∣wi,dj)∑i=1m∑j=1nf(wi,dj)\begin{aligned} P(w_i|z_l) &= \frac{\displaystyle \sum_{j=1}^n f(w_i, d_j) P(z_l|w_i, d_j)}{\displaystyle \sum_{i'=1}^m \sum_{j=1}^n f(w_{i'}, d_j) P(z_l|w_{i'}, d_j)} \\ P(d_j|z_l) &= \frac{\displaystyle \sum_{i=1}^m f(w_i, d_j) P(z_l|w_i, d_j)}{\displaystyle \sum_{i=1}^m \sum_{j'=1}^n f(w_i, d_{j'}) P(z_l|w_i, d_{j'})} \\ P(z_l) &= \frac{\displaystyle \sum_{i=1}^m \sum_{j=1}^n f(w_i, d_j) P(z_l|w_i, d_j)}{\displaystyle \sum_{i=1}^m \sum_{j=1}^n f(w_i, d_j)} \end{aligned}