Souyer's Blog

这篇文章整理了数理统计课程中核心概念的Python与R代码实现，涵盖统计量及其分布（经验分布函数、样本统计量、卡方/t/F分布）、区间估计（单双样本均值与方差置信区间）以及假设检验（单双样本均值检验、F检验、正态性检验与非参数检验）等内容。代码以scipy库和R基础函数为主，并配有分布图像与分位数计算示例，旨在通过上机实践加深对数理统计理论的理解。

本文系统介绍了集成学习的核心方法，分为并行式Bagging（以随机森林为代表）和串行式Boosting（含AdaBoost、GBM、XGBoost等）。Bagging通过Bootstrap自助采样训练多棵树并投票或平均，降低预测方差；随机森林进一步引入特征随机选择增强树间差异，并利用袋外样本估计误差和变量重要性。Boosting则逐序生成树，重点修正前序错误，AdaBoost通过加权样本和指数损失实现，GBM推广至任意损失函数并采用负梯度拟合，XGBoost引入正则化与二阶泰勒展开优化目标，并采用加权分位数等技巧提升效率。文章还提及课程总结与后续学习计划。

本文介绍了循环神经网络（RNN）及其变体LSTM。文章指出，面对机器翻译、情感分类等时序任务，前馈和卷积网络因缺乏记忆能力而失效，由此引出RNN。RNN通过共享权重和隐藏状态更新来处理序列数据，支持多种输入输出模式，其训练采用基于时间的反向传播。然而，RNN存在长期记忆丢失和梯度消失问题，LSTM通过引入记忆单元和遗忘、输入、输出等门控机制有效缓解了该问题，并在图像描述等任务中取得显著成功。最后，文章提及Transformer的出现打破了CNN+LSTM的主流范式，并附上相关笔记链接。

本文介绍了PyTorch入门知识，涵盖数据加载、TensorBoard可视化、Transforms数据转换及DataLoader使用。通过继承Dataset类实现自定义数据集，利用SummaryWriter记录标量和图像，借助transforms.v2进行图像预处理，并演示了CIFAR10数据集的加载与DataLoader批处理操作，为深度学习实践提供基础指导。

支持向量机（SVM）由Vapnik于1995年正式提出，凭借扎实的数学基础和卓越的预测性能，在深度学习兴起前长期占据机器学习主流地位。其核心思想是寻找最大间隔超平面以分离二分类样本，硬边界SVM要求严格线性可分，而软边界SVM通过引入松弛变量和惩罚参数C，允许部分误分类以提升泛化能力。针对非线性问题，SVM借助核技巧将数据映射至高维空间，仅需核函数即可求解对偶优化问题，常用核包括线性、多项式和径向基函数。多分类场景则可通过改造目标函数、一对多、一对一投票或树结构策略实现。