Souyer's Blog

本文介绍了潜在狄利克雷分配（LDA）模型，一种贝叶斯概率主题建模方法，与PLSA相比，LDA将参数视为随机变量并引入狄利克雷先验，性能更优。文章详细阐述了狄利克雷分布的定义、性质及其作为多项分布共轭先验的作用，并完整描述了LDA的生成过程、概率图模型和概率计算公式。最后，介绍了两种近似学习算法：吉布斯抽样算法和变分EM算法，分别通过采样和优化证据下界来估计模型参数。

本文系统介绍了话题分析的基本概念与方法，核心思想是用单词分布表示话题、话题分布表示文本。内容涵盖三大模型：潜在语义分析（LSA）通过单词-文本矩阵的奇异值分解实现降维，并引入非负矩阵分解（NMF）增强可解释性；概率潜在语义分析（PLSA）采用概率生成模型，通过EM算法估计参数；潜在狄利克雷分配（LDA）作为概率模型的代表也被提及。文章详细阐述了各模型的数学原理、算法推导及优缺点，为文本语义分析提供了完整的理论框架。

本文阐述了编程中测试代码的重要性，指出在LLM时代测试比调试更为关键。内容涵盖随机测试（Ad Hoc Testing）和基于Google Truth库的单元测试方法，通过字符串排序示例演示了如何编写测试类、使用断言检测代码输出与期望值的差异。随后详细实现了选择排序算法，包括寻找最小元素、交换位置和递归排序三个步骤，并强调综合运用测试与调试器能有效提升代码编写效率。

本文介绍了条件随机场（CRF）这一概率无向图模型。首先阐述了概率无向图模型（马尔可夫随机场）的基本概念，包括成对、局部和全局马尔可夫性，以及通过最大团进行因子分解的方法。随后重点讲解了线性链条件随机场，其适用于序列标注任务，具有基本、一般和矩阵三种形式，并介绍了概率计算的前向-后向算法、参数学习的极大似然估计法以及预测用的维特比算法。最后，文章对比了HMM与CRF的发展脉络，并总结了监督学习方法。

本文系统阐述了隐马尔可夫模型（HMM）的核心内容，涵盖基本概念、三大假设与三个基本问题，并详细介绍了前向-后向算法、Baum-Welch学习算法及预测算法（近似算法与维特比算法）。文章从概率图模型出发，定义了状态与观测集合、模型参数λ=(A,B,π)，并通过动态规划思想将概率计算复杂度从指数级降至O(T·I²)，同时给出监督与无监督学习方案，为序列标注等应用提供理论支撑。