Souyer's Blog

本文阐述了编程中测试代码的重要性，指出在LLM时代测试比调试更为关键。内容涵盖随机测试（Ad Hoc Testing）和基于Google Truth库的单元测试方法，通过字符串排序示例演示了如何编写测试类、使用断言检测代码输出与期望值的差异。随后详细实现了选择排序算法，包括寻找最小元素、交换位置和递归排序三个步骤，并强调综合运用测试与调试器能有效提升代码编写效率。

本文介绍了条件随机场（CRF）这一概率无向图模型。首先阐述了概率无向图模型（马尔可夫随机场）的基本概念，包括成对、局部和全局马尔可夫性，以及通过最大团进行因子分解的方法。随后重点讲解了线性链条件随机场，其适用于序列标注任务，具有基本、一般和矩阵三种形式，并介绍了概率计算的前向-后向算法、参数学习的极大似然估计法以及预测用的维特比算法。最后，文章对比了HMM与CRF的发展脉络，并总结了监督学习方法。

本文系统阐述了隐马尔可夫模型（HMM）的核心内容，涵盖基本概念、三大假设与三个基本问题，并详细介绍了前向-后向算法、Baum-Welch学习算法及预测算法（近似算法与维特比算法）。文章从概率图模型出发，定义了状态与观测集合、模型参数λ=(A,B,π)，并通过动态规划思想将概率计算复杂度从指数级降至O(T·I²)，同时给出监督与无监督学习方案，为序列标注等应用提供理论支撑。

本文介绍了如何将递归结构的`IntList`改进为更安全高效的`SLList`类。通过五次迭代优化：首先封装递归结构，其次将`first`设为`private`防止外部破坏，接着将`IntNode`内嵌并添加`addLast`和`size`方法，然后引入缓存技术实时存储列表大小，最后采用哨兵节点统一处理空列表。最终形成一套完整的不变量规则，确保列表操作的安全性和效率。

本文介绍了逻辑斯蒂回归与最大熵模型。逻辑斯蒂回归从二分类推广到多分类，基于Logistic分布建模条件概率，具有线性对数几率解释性，损失函数可统一为逻辑斯谛损失。最大熵模型依据最大熵原理，在特征期望约束下最大化条件熵，其学习过程转化为带约束优化，通过对偶问题求解，最终模型形式与逻辑斯蒂回归相似，同属对数线性模型，后者可视为前者的特例。