Souyer's Blog

本文以R代码为主、Python代码为辅，系统整理了多元统计分析中的常用操作。内容涵盖矩阵运算（转置、乘法、求逆、特征值分解、迹与行列式）、旋转椭圆的二次型表示及绘制、正态分布随机数生成与不同协方差矩阵下的散点分布、三维正态密度图与等高线、单变量Q-Q图与相关系数正态性检验、多变量卡方Q-Q图检验、基于点图散点图标准化值与马氏距离的异常值检测，以及单变量和多元Box-Cox近似正态变换。

文章系统介绍了深度生成模型的三大代表——GAN、VAE与扩散模型。GAN部分从生成器与判别器的对抗结构出发，给出极小极大优化目标及其与交叉熵的联系，并讨论训练流程、模型坍塌问题，以及fGAN、WGAN、DCGAN、CycleGAN、CGAN、SGAN和Triple GAN等变体。VAE部分从自编码器讲起，结合变分推断与EM思想，推导证据下界目标、重参数化技巧和KL散度闭式表达。扩散模型部分阐述前向加噪与反向去噪过程，推导反向条件分布，并将训练目标转化为噪声预测的均方误差形式。

本文系统介绍了多隐藏层神经网络（深度学习）的核心概念与训练方法。文章首先解释了深度网络相比单隐层网络的优势在于表达效率更高，随后详细补充了训练技巧，包括激活函数选择、参数初始化、自适应学习率算法（如AdaDelta和Nesterov加速法）、梯度截断、小批量梯度下降、权重衰减及数据增强。接着，文章探讨了调参策略，强调学习率的重要性，并介绍了正交化调参、误差分析（区分偏差与方差）及迁移学习等实用方法，为深度学习实践提供了系统性指导。

本文介绍了自然语言处理中的机器翻译技术，涵盖语言类型学差异、编码器-解码器架构、Transformer模型、解码方法及评估指标。机器翻译主要处理日常信息，采用序列到序列模型，通过交叉注意力机制实现源语言到目标语言的转换。解码方法包括束搜索和最小贝叶斯风险解码，评估指标则有chrF、BLEU和基于嵌入的方法。文章还探讨了不同语言在语序、词汇语义和省略倾向上的差异对翻译的影响。

本文介绍了双向Transformer编码器架构，重点讲解BERT模型家族。该架构采用掩码语言建模（MLM），通过预测被遮蔽词元进行预训练，与因果语言模型不同，它不生成文本，而是用于分类等任务。文章梳理了仅编码器、仅解码器和编码器-解码器三种架构，详述了BERT的训练过程（包括MLM和下一句预测）及微调方法，涵盖序列分类、序列对分类和序列标注等下游应用。