Souyer's Blog

本文介绍了如何将递归结构的`IntList`改进为更安全高效的`SLList`类。通过五次迭代优化：首先封装递归结构，其次将`first`设为`private`防止外部破坏，接着将`IntNode`内嵌并添加`addLast`和`size`方法，然后引入缓存技术实时存储列表大小，最后采用哨兵节点统一处理空列表。最终形成一套完整的不变量规则，确保列表操作的安全性和效率。

本文介绍了逻辑斯蒂回归与最大熵模型。逻辑斯蒂回归从二分类推广到多分类，基于Logistic分布建模条件概率，具有线性对数几率解释性，损失函数可统一为逻辑斯谛损失。最大熵模型依据最大熵原理，在特征期望约束下最大化条件熵，其学习过程转化为带约束优化，通过对偶问题求解，最终模型形式与逻辑斯蒂回归相似，同属对数线性模型，后者可视为前者的特例。

这篇文章整理了数理统计课程中核心概念对应的Python和R代码实现，涵盖统计量及其分布（经验分布函数、样本统计量、卡方分布、t分布、F分布）、区间估计（单样本均值/方差、两样本均值差/方差比置信区间）以及假设检验（单样本均值检验、两样本方差F检验、正态性检验、非参数检验）等内容，主要基于scipy库的stats模块，并配有相应的R代码示例。

本文系统介绍了集成学习的核心方法，分为并行式Bagging（以随机森林为代表）和串行式Boosting（含AdaBoost、GBM、XGBoost等）。Bagging通过Bootstrap自助采样训练多棵树并投票或平均，降低预测方差；随机森林进一步引入特征随机选择增强树间差异，并利用袋外样本估计误差和变量重要性。Boosting则逐序生成树，重点修正前序错误，AdaBoost通过加权样本和指数损失实现，GBM推广至任意损失函数并采用负梯度拟合，XGBoost引入正则化与二阶泰勒展开优化目标，并采用加权分位数等技巧提升效率。文章还提及课程总结与后续学习计划。

本文介绍了循环神经网络（RNN）及其变体LSTM。文章指出，面对机器翻译、情感分类等时序任务，前馈和卷积网络因缺乏记忆能力而失效，由此引出RNN。RNN通过共享权重和隐藏状态更新来处理序列数据，支持多种输入输出模式，其训练采用基于时间的反向传播。然而，RNN存在长期记忆丢失和梯度消失问题，LSTM通过引入记忆单元和遗忘、输入、输出等门控机制有效缓解了该问题，并在图像描述等任务中取得显著成功。最后，文章提及Transformer的出现打破了CNN+LSTM的主流范式，并附上相关笔记链接。