Souyer's Blog

本文系统梳理计算机网络核心知识，涵盖网络分层与封装、分组交换与电路交换、时延丢包吞吐量计算，以及应用层HTTP、DNS、邮件、CDN与P2P，传输层UDP、可靠传输、TCP连接管理、流量与拥塞控制及QUIC，并配有公式、例题和Socket操作要点。

本文以R代码为主、Python代码为辅，系统整理了多元统计分析中的常用操作。内容涵盖矩阵运算（转置、乘法、求逆、特征值分解、迹与行列式）、旋转椭圆的二次型表示及绘制、正态分布随机数生成与不同协方差矩阵下的散点分布、三维正态密度图与等高线、单变量Q-Q图与相关系数正态性检验、多变量卡方Q-Q图检验、基于点图散点图标准化值与马氏距离的异常值检测，以及单变量和多元Box-Cox近似正态变换。

文章系统介绍了深度生成模型的三大代表——GAN、VAE与扩散模型。GAN部分从生成器与判别器的对抗结构出发，给出极小极大优化目标及其与交叉熵的联系，并讨论训练流程、模型坍塌问题，以及fGAN、WGAN、DCGAN、CycleGAN、CGAN、SGAN和Triple GAN等变体。VAE部分从自编码器讲起，结合变分推断与EM思想，推导证据下界目标、重参数化技巧和KL散度闭式表达。扩散模型部分阐述前向加噪与反向去噪过程，推导反向条件分布，并将训练目标转化为噪声预测的均方误差形式。

本文系统介绍了多隐藏层神经网络（深度学习）的核心概念与训练方法。文章首先解释了深度网络相比单隐层网络的优势在于表达效率更高，随后详细补充了训练技巧，包括激活函数选择、参数初始化、自适应学习率算法（如AdaDelta和Nesterov加速法）、梯度截断、小批量梯度下降、权重衰减及数据增强。接着，文章探讨了调参策略，强调学习率的重要性，并介绍了正交化调参、误差分析（区分偏差与方差）及迁移学习等实用方法，为深度学习实践提供了系统性指导。

本文介绍了自然语言处理中的机器翻译技术，涵盖语言类型学差异、编码器-解码器架构、Transformer模型、解码方法及评估指标。机器翻译主要处理日常信息，采用序列到序列模型，通过交叉注意力机制实现源语言到目标语言的转换。解码方法包括束搜索和最小贝叶斯风险解码，评估指标则有chrF、BLEU和基于嵌入的方法。文章还探讨了不同语言在语序、词汇语义和省略倾向上的差异对翻译的影响。