Souyer's Blog

本文以R代码为主、Python代码为辅，系统整理了多元统计分析中的常用操作。内容涵盖矩阵运算（转置、乘法、求逆、特征值分解、迹与行列式）、旋转椭圆的二次型表示及绘制、正态分布随机数生成与不同协方差矩阵下的散点分布、三维正态密度图与等高线、单变量Q-Q图与相关系数正态性检验、多变量卡方Q-Q图检验、基于点图散点图标准化值与马氏距离的异常值检测，以及单变量和多元Box-Cox近似正态变换。

本文系统介绍了深度生成模型的三大代表：GAN、VAE与扩散模型。GAN部分从2014年Goodfellow提出的对抗训练框架出发，阐述生成器与判别器的极小极大博弈、与交叉熵的联系、训练算法及D迭代多于G的原因，并梳理fGAN、WGAN、DCGAN、CycleGAN、CGAN、SGAN与TripleGAN等经典变体。VAE部分从自编码器局限切入，结合变分推断与EM思想推导证据下界，介绍重参数化技巧及训练流程。扩散模型部分讲解前向加噪与反向去噪过程，推导KL散度目标并说明“预测噪声”的等价训练形式。

本文系统介绍了多隐藏层神经网络（深度学习）的核心概念与训练方法。文章首先解释了深度网络相比单隐层网络的优势在于表达效率更高，随后详细补充了训练技巧，包括激活函数选择、参数初始化、自适应学习率算法（如AdaDelta和Nesterov加速法）、梯度截断、小批量梯度下降、权重衰减及数据增强。接着，文章探讨了调参策略，强调学习率的重要性，并介绍了正交化调参、误差分析（区分偏差与方差）及迁移学习等实用方法，为深度学习实践提供了系统性指导。

本文介绍了自然语言处理中的机器翻译技术，涵盖语言类型学差异、编码器-解码器架构、Transformer模型、解码方法及评估指标。机器翻译主要处理日常信息，采用序列到序列模型，通过交叉注意力机制实现源语言到目标语言的转换。解码方法包括束搜索和最小贝叶斯风险解码，评估指标则有chrF、BLEU和基于嵌入的方法。文章还探讨了不同语言在语序、词汇语义和省略倾向上的差异对翻译的影响。

本文介绍了双向Transformer编码器架构，重点讲解BERT模型家族。该架构采用掩码语言建模（MLM），通过预测被遮蔽词元进行预训练，与因果语言模型不同，它不生成文本，而是用于分类等任务。文章梳理了仅编码器、仅解码器和编码器-解码器三种架构，详述了BERT的训练过程（包括MLM和下一句预测）及微调方法，涵盖序列分类、序列对分类和序列标注等下游应用。